"AI기본법 워터마크 의무 있지만…딥페이크 피해자 보호 보완 필요"

KISDI, '인공지능 생성물 고지 및 표시 제도' 보고서
이달 AI 기본법 시행…AI 생성물 표시제도로 최소한 투명성 기반 마련
생성물 표시 의무, 사업자만 대상…"이용자→피해자 구조 고려해야"

[서울=뉴시스]대상을 악마화하고 속이며 가짜 소문을 퍼트리는데 딥페이크 이미지가 적극 활용되고 있다. (출처=Ofcom) 2025.11.1. *재판매 및 DB 금지

[서울=뉴시스] 심지혜 기자 = 배달음식 환불을 받기 위해 인공지능(AI)으로 음식 사진을 조작하는 신종 사기 수법이 등장하는 등 AI 생성물로 인한 피해가 일상의 다양한 영역으로 확산하고 있다. 배달앱에 올라가는 후기 사진을 AI나 이미지 편집 프로그램으로 조작해 벌레를 합성하거나 음식이 덜 익은 것처럼 꾸민 뒤 환불을 받았다는 사례가 해외 SNS를 중심으로 잇따르고 있다.

이처럼 AI 생성물이 현실적 피해로 이어지는 상황에서, 오는 22일 시행되는 AI 기본법의 생성물 표시 제도가 실제 피해자 보호에는 한계가 있다는 지적이 제기됐다.

10일 정보통신정책연구원(KISDI)에 따르면 정준화 국회입법조사처 입법조사관은 '인공지능 생성물 고지 및 표시 제도' 보고서를 통해 현행 AI 기본법이 최소한의 투명성 기반을 마련했지만, AI 생성물로 인해 영향을 받는 자를 보다 안전하게 보호하기 위한 제도 정비가 필요하다고 분석했다.

[서울=뉴시스] 생성형 AI 생성물에 대한 표시 방식. (사진=KISDI 제공) *재판매 및 DB 금지

AI 사업자가 '고지·표시'…이용자는 의무 없어

AI 기본법은 생성형 AI와 고영향 AI를 이용한 제품·서비스에 대해 사전 고지를 의무화하고, 생성형 AI가 만든 결과물에는 이를 표시하도록 규정하고 있다. 음성·이미지·영상 등 결과물의 경우에는 이용자가 명확히 인식할 수 있도록 워터마크 등과 같은 별도의 고지 또는 표시를 하도록 했다.

이 같은 고지·표시 의무는 AI를 개발하거나 이를 활용해 제품·서비스를 제공하는 AI사업자에게 부과된다. 단순히 AI 제품·서비스를 이용한 결과물을 자신의 서비스 등에 활용하는 '이용자'는 투명성 확보 의무가 없다.

사업자는 서비스 가입 과정에서 계약서나 약관, 설명서를 통해 AI 기반 서비스임을 알리거나, 이용 화면·단말기·제품 자체에 표시하는 방식으로 의무를 이행할 수 있다.

생성형 AI 결과물에 대한 표시는 사람이 인식할 수 있는 방식과 기계가 판독할 수 있는 방식으로 나뉜다. 이미지·영상의 경우 화면에 문구나 로고를 표시하는 가시적 방식뿐 아니라, 메타데이터 삽입이나 비가시적 워터마크를 적용하는 방식도 허용된다. 음성 콘텐츠 역시 재생 초기에 안내 멘트를 삽입하거나 비가청 방식의 기술적 표시를 적용할 수 있다. 다만 기계 판독 방식만 적용하더라도 이용자가 AI 생성물임을 최소 1회 이상 명시적으로 인지할 수 있도록 알려야 한다.

실제와 구분하기 어려운 딥페이크 결과물 또한 이용자가 명확히 인식할 수 있는 방식으로 고지 또는 표시하도록 하고 있다. 법 체계상 고지·표시의 기준은 AI제품 또는 AI서비스를 제공받는 이용자다. 내부 업무용으로만 사용되는 경우나 AI 활용이 명백한 경우 등에는 예외 규정도 두고 있다.

해외는 표시 이후까지 관리…검증·유지 장치도 포함

해외 주요국 역시 AI 생성물 표시 의무를 AI사업자에게 부과하는 방식이라는 점에서는 우리나라와 큰 틀에서 유사하다. 다만 일부 국가들은 표시가 이뤄지는 시점이나 방식에서 차이를 두고 있다.

유럽연합(EU)은 생성형 AI 서비스 이용자가 단순히 사전에 고지를 받는 데 그치지 않고 서비스 이용 과정에서도 AI와 상호작용하고 있다는 사실을 인지할 수 있도록 설계 책임을 강조하고 있다. 이용자가 결과물을 소비하는 전 과정에서 AI 개입 여부를 인식할 수 있어야 한다는 취지다.

미국은 연방 차원의 통합 규율보다는 주 단위 규제가 중심이지만, AI 생성물 표시가 훼손되거나 삭제되는 상황까지 고려한 제도 설계가 일부 도입돼 있다. 대표적으로 미국 캘리포니아주는 AI 생성물 표시의 영구성과 비가역성 확보를 요구하는 한편, 일반 이용자나 제3자도 해당 콘텐츠가 AI로 생성됐는지를 확인할 수 있도록 무료 탐지 도구 제공을 규정하고 있다. 표시가 삭제되더라도 사후적으로 생성 여부를 확인할 수 있도록 한 것이다.

반면 중국은 생성 단계뿐 아니라 생성물이 플랫폼을 통해 유통·전파되는 과정까지 관리 대상으로 삼는 보다 포괄적인 규율 체계를 마련했다. 생성형 AI 서비스 제공자뿐 아니라 플랫폼 사업자에게도 관리 책임을 부과하는 방식으로, 제도 설계의 범위 자체가 다른 접근을 취하고 있다.

딥페이크 피해 대응…보호 대상 재설정 필요

보고서는 현행 AI 기본법의이용자가 합리적 판단을 통해 AI 생성물을 스스로 인지할 수 있는 최소한의 기반을 마련했다는 점은 인정하면서도, 이용자 중심 구조를 보완해 AI 생성물로 인해 '영향을 받는 자'를 보다 안전하게 보호할 수 있는 제도 정비가 필요하다고 제안했다.

최근 문제가 된 딥페이크 사건 대부분이 이용자가 타인을 대상으로 피해를 야기하는 구조로, 사후적 규율은 존재하지만 사전적 안전장치를 마련하기 위해서는 이용자와 영향을 받는 자의 관계를 별도로 설정하는 방안이 검토될 필요가 있다는 것이다.

이와 함께 영향받는 자를 인공지능 제품 또는 서비스에 의해 생명·신체의 안전이나 기본권에 중대한 영향을 받는 자로 정의한 부분도 재검토가 필요한 부분으로 평가했다.

보고서는 실제 딥페이크로 인해 발생하는 피해가 생명이나 신체 침해보다는 사기나 기만에 따른 재산적 손실로 나타나는 경우가 적지 않다고 설명했다.

보호 기준 설정의 문제도 함께 짚었다. 현행 AI 기본법은 딥페이크 고지 또는 표시 방식을 정할 때 ‘주된 이용자의 연령, 신체적·사회적 조건 등을 고려하도록’ 규정하고 있다.

그러나 보고서는 현실에서 딥페이크 문제에 더 쉽게 노출되는 계층은 서비스의 주된 이용자라기보다, 디지털 환경에 취약한 계층일 가능성이 높다고 분석했다. 실제로 딥페이크로 인한 사기나 기만, 명예 훼손 등은 AI 서비스를 직접 사용하는 이용자보다, 그 결과물로 인해 영향을 받는 사람이 직면할 가능성이 더 클 수 있다.

이에 딥페이크로부터 보호해야 할 대상을 보다 분명히 설정하고 취약계층을 보다 강하게 보호할 수 있도록 관련 규정을 정비하는 방안을 검토해야 한다고 요구했다.

보고서는 생성물 고지·표시 제도의 신뢰성을 확보하기 위해, 표시의 변조·삭제 등 훼손에 대한 대응 방안도 함께 보완돼야 한다고 지적했다. 생성형 AI가 만든 콘텐츠임에도 불구하고 고지나 표시가 삭제될 경우, 오히려 해당 콘텐츠가 AI 생성물이 아닌 것처럼 오인될 수 있다는 점에서다.

미국 캘리포니아주는 무료 탐지 도구 제공 등을 통해 표시 훼손으로 인한 공백을 보완하고 있지만 국내 법령에는 아직 위조·삭제되는 상황을 전제로 한 규정은 마련돼 있지 않다.

보고서는 AI 기본법이 최소한의 투명성 기반을 마련했지만, 이용자?영향받는 자 관계와 사용 과정 인지, 취약계층 보호, 표시 변조 방지 등 현실적 과제를 반영한 제도 정교화가 필요하다고 정리했다.

☞공감언론 뉴시스 siming@newsis.com

▶ 네이버에서 뉴시스 구독하기
▶ K-Artprice, 유명 미술작품 가격 공개