커지는 '그록'발 AI 딥페이크 위험..."연령 제한·생성물 차단 조치 시급"

그록, 딥페이크 고도화 기점으로 MAU 급증
무료 이용자·어린 아이도 쉽게 딥페이크 제작
방미통위, 이달 말까지 보호 조치 계획 받기로
이에 각국, 그록 조사 착수·접속 제한 등 조치
연령 제한·유해 출력값 차단 등 실질 대책 필요

뉴시스

[파이낸셜뉴스]X(옛 트위터) 이용자들이 쓸 수 있는 인공지능(AI) 챗봇 '그록'이 딥페이크 생성 기능으로 인기를 끌며 국내 이용자 수를 급격히 늘리고 있다. 하지만 이용자 누구나 주변 인물 사진으로 딥페이크 동영상을 쉽게 만들수 있어 악용 우려가 커지고 있어 국내에서도 적절한 제재 조치가 필요하다는 지적이 나오고 있다.

■방미통위 "청소년 보호장치 마련하라"
26일 업계에 따르면 방송미디어통신위원회는 지난 14일 그록에 서비스에 대한 안전 조치 및 청소년 보호 장치 마련 계획 제출을 요구했다. 기한은 이달 말까지로, 보호 계획이 부실하다고 판단될 경우 추가 보완 조치도 검토한다는 방침이다. 전문가들은 제출 계획에 연령 제한과 유해 생성물 방지 등 실효적 대안이 포함돼야 한다고 보고 있다.

아이지에이웍스 모바일인덱스에 따르면 그록은 지난해 3월 국내 월간활성이용자수(MAU) 7만명으로 시작해 8월 21만명, 10월 48만명, 12월 85만명으로 가파른 성장세를 보였다. 이 같은 성장세에는 누구든지 무료로 딥페이크를 만들 수 있는 '이매진' 기능이 주효했던 것으로 분석된다. 그록은 지난해 8월 사진만으로 영상을 만들어주는 서비스 이매진(Imagine)을 출시하고 10월 v0.9로 대규모 업그레이드를 거쳤다.

현재 이용자들은 아는 사람 사진을 그록에 올린 후 별다른 제재 없이 다양한 딥페이크 영상을 제작할 수 있다. 성적 콘텐츠 제작을 요청할 경우 일부 프롬프트에 대해서는 출력을 제외하지만, 단어에 변주를 주는 등 수정을 가하면 생성물을 만들어주는 것으로 파악됐다. 출생연도를 입력하게 돼 있지만 추가 연령 인증이나 경고 조치는 가하지 않는 상황이다.

■'미성년 딥페이크'도 수백만장
출생연도는 사용자들이 임의로 입력해도 거르는 장치가 없다. 이 때문에 어린 아이를 포함한 이용자들이 딥페이크를 생성 가해자나 피해자가 될 가능성이 커지고 있다. 디지털 혐오 대응 센터(CCDH)에 따르면 그록은 지난달 29일부터 이달 8일까지 2만3000장의 미성년자 이미지를 포함해 300만장의 성적 이미지를 생성했다. 사이버 보안 기업 딥스트라이크에 따르면 전 세계 딥페이크 파일 수는 2023년 약 50만건에서 2024년 800만건으로 급증했으며 온라인에 유통되는 딥페이크의 96~98%는 비동의 성적 이미지였다. 그록이 지난해 활성화된 것을 고려하면 실질적인 피해 규모는 더 늘었을 것으로 예상된다.

각국은 그록을 향한 강력한 제재에 나서고 있다. 미국 캘리포니아주 검찰과 영국 오프콤, 프랑스 아르콤 등 규제 기관은 그록의 법 위반 여부 조사에 착수했다. 인도네시아는 세계 최초로 그록 접속을 전면 차단했으며 말레이시아 역시 일시적 접속 제한 조치를 단행했다.

한국은 해외와 같이 직접적인 서비스 제재에 나서기는 어려운 상황이다. 현재 국내에서 딥페이크는 성폭력범죄의 처벌 등에 관한 특례법 등에서 규제하고 있는데, 사람의 얼굴·신체 또는 음성 제작물을 합성·소지·저장·시청하거나 반포할 경우 처벌하는 '행위자' 중심 제재다. 제작 기술을 제공한 기업을 직접 규제하는 명시적인 내용은 없다. 지난 22일부터 전 세계 최초로 시행된 AI 기본법도 사업자들이 AI를 이용한 제품이나 서비스를 제공할 때 해당 사실을 알리는 것이 핵심으로, 딥페이크 자체를 금지하거나 해당 AI 서비스를 차단하는 내용이 담긴 것은 아니다.

김명주 인공지능안전연구소장(서울여대 지능정보보호학부 교수)은 "AI 기본법으로는 그록을 직접 제재하기 어렵다"며 "(성폭력처벌법 등을 통해) 기술을 제공하는 기업도 제작자로 보고 법적 해석을 할 경우 처벌을 할 수는 있지만 현실적으로 어렵다"고 말했다.

이에 그록이 제출할 이번 보호 계획에 실효성 있는 이용자 보호 방안이 담겨야 한다는 목소리가 나온다. 김 교수는 "14세 혹은 18세 미만 미성년자는 사용 자체를 금지하는 연령 제한이 방법이 될 수 있다"고 말했다. 최경진 한국인공지능법학회장(가천대학교 법학과 교수)은 "입력값이 있더라도 불법적인 출력값은 나오지 않게끔 하는 것이 중요하다"며 "실존 인물 사진을 첨부하면서 음란한 영상을 요구하면 생성물을 만들지 않는 등 구체적인 프롬프트 기준을 세워야 한다. 또 내부 AI 시스템을 도입해 사용자 대화 패턴을 식별하고 어린 아이인 것을 감지하면 이용을 막는 조치도 필요하다"고 말했다.

현재까지는 그록이 계획을 미제출한 것으로 파악됐다. 김우석 방미통위 디지털유해정보대응과장은 "사업자가 자료 제출을 하지 않는다면 과태료를 부과할 수 있는데, 글로벌 사업자의 경우 제출에 시간이 소요되기 때문에 2주 정도 시간을 준다"며 "내용이 부실하다고 판단되면 보완 요청을 하는 등 추가 절차가 필요할 것"이라고 말했다.

개인정보보호위원회도 최근 그록의 딥페이크 성착취물 생성 관련 사실관계 확인에 나섰다. 사실관계 확인은 정식 조사에 착수하기 전 문제가 제기된 사안이 실제로 존재하는지와 위원회 소관 사안인지를 가려보는 검토 단계다.

kaya@fnnews.com 최혜림 기자

Copyrightⓒ 파이낸셜뉴스. 무단전재 및 재배포 금지.