네카오, AI 생성물 감지 도구 개발 중…"실효성은 숙제"

韓, 연내 AI 생성물에 워터마크 의무화 추진

AI 도움받은 결과물 '가짜 낙인' 우려…"안전성 강화에 의문"

한덕수 국무총리가 22일 서울 성북구 한국과학기술연구원(KIST)에서 열린 2024 인공지능(AI) 글로벌 포럼 개회식에 참석해 이종호 과학기술정보통신부 장관, 조태열 외교부 장관, 주요 참가기업 관계자들과 함께 서울 인공지능(AI) 기업 서약을 마치고 기념촬영하고 있다. 2024.5.22/뉴스1 ⓒ News1 이승배 기자

(서울=뉴스1) 손엄지 기자 = 오픈AI, 구글에 이어 국내 인공지능(AI) 기업 네이버(035420)와 카카오(035720)도 AI 생성물을 감지할 수 있는 도구를 개발 중이다. AI 안전성을 강화하려는 조치다. 다만 AI 생성물 탐지 기술이 얼마나 실효성이 있는지는 의문이라는 의견도 나온다.

24일 정보기술(IT)업계에 따르면 네이버는 자사의 초거대언어모델(LLM) '하이퍼클로바X'가 생성한 콘텐츠를 탐지하는 도구를 개발하고 있다.

카카오는 최근 생성 AI 이미지 서비스인 '칼로(Karlo) AI 프로필'에 비가시성 워터마크를 도입했다. '칼로'가 만든 AI 이미지를 탐지하기 위해서다.

앞서 22일 국내외 AI 기업 14곳은 '서울 AI 기업 서약'에 참여해 워터마크 등 AI 생성 콘텐츠를 식별할 수 있는 도구를 개발할 것을 약속했다.

정부는 연내 딥페이크(deep learning+fake)를 활용한 가짜 뉴스에 대응하기 위해 AI 생성물에 워터마크 의무화를 추진할 예정이다.

이처럼 AI 기술 안전성을 강화하는 대안으로 '워터마크' 삽입과 '생성 AI 탐지 기술'이 주목받고 있지만 실효성이 없다는 지적도 나온다.

가령 딥페이크가 확산하는 게 문제라면 비가시성(눈에 안 보이는) 워터마크를 넣는다고 해서 확산을 막을 수 없다. 워터마크가 눈에 보인다면 잘라내면 그만이다.

생성 AI가 만든 이미지에 워터마크를 넣으면 해상도가 낮아지거나 이미지를 확대하면 감지가 안 되는 사례도 나타나고 있다.

구글은 생성 AI 답변에도 비가시성 워터마크를 붙여 AI 답변임을 감지할 수 있는 '신스(synth) ID 디텍터(detector)'를 공개할 계획이지만, '어디까지 가짜로 낙인찍을 것인지'도 합의가 이뤄지지 않았다.

IT업계 관계자는 "AI를 유용한 업무용 도구로 활용해야 하는 데 AI를 활용했다고 '가짜'라거나 'AI가 만든 것'이라는 낙인을 찍는 것도 바람직하지 않다"면서 "생성 AI가 만들 부작용을 막기 위해서라면 워터마크와 탐지 기술이 아직 제대로 된 해결책을 제시하지 못하고 있다"고 말했다.

eom@news1.kr

Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.