AI로 만든 '지인능욕·합성' 딥페이크, 청소년은 못본다

AI가 생성한 딥페이크. /사진=온라인커뮤니티

AI(인공지능)를 통한 딥페이크가 성행하고 이에 청소년들이 노출될 우려가 커지면서 지난해 KISO(한국인터넷자율정책기구)가 포털 플랫폼들과 손잡고 선제대응에 나섰다.

KISO는 네이버, 카카오, SK커뮤니케이션즈(SK컴즈) 등 포털 회원사들과 협력해 지난해 청소년 보호를 위한 검색어 110개를 새로 추가했다고 22일 밝혔다.

110개의 추가 검색어에는 불법 촬영물, 성착취 관련 검색어, 마약류 매매, 신종 불법 사기대출 관련 검색어 등 불법 및 유해 콘텐츠 관련 검색어가 포함돼 있다.

특히 최근 AI 기술을 활용한 다양한 콘텐츠의 생성이 증가하는 가운데 '딥페이크'와 관련된 검색어들이 새로 추가됐다. 이러한 조치는 인공지능 기술의 부상과 그로 인한 유해 정보 증가에 대한 신속한 대응이다.

AI와 관련해서는 '지인능욕', '지인합성' 등 딥페이크 관련 검색어가 대표적이다. 또 일부 성인 콘텐츠를 검색에서 노출하게 하는 애플리케이션 '언드레스(undress)' 관련 검색어를 선제적으로 청소년 보호 검색어로 지정했다.

청소년 보호 검색어는 단어 자체만으로도 유해성이 있거나 검색어 입력시 유해한 결과를 노출시킨다고 판단될 경우에만 등록한다. 이번에 추가된 '언드레스'의 사전적 의미는 정장이 아닌 편안한 옷을 통틀어 이르는 말이나, 최근 사진 속 인물의 옷을 벗기는 딥페이크 애플리케이션이 등장하면서 이 검색어의 이용자가 폭증해 악용 우려를 낳았다. 비록 단어 자체는 범용적으로 쓰이는 중립적인 단어에 해당하지만 동일 명칭의 애플리케이션의 유해성을 고려해 선제적으로 청소년 보호 검색어에 추가했다.

황용석 KISO 자율규제DB위원회 위원장은 "딥페이크와 관련된 검색어 추가는 초상권 침해, 명예훼손, 기타 형법적 문제가 발생할 위험을 줄이고, 성적 착취나 폭력으로의 연결 가능성을 예방하기 위한 필요한 조치"라며 "미국에서도 AI 관리 및 감독, 특히 아동과 청소년 보호가 중요한 이슈로 다뤄지고 있는 점을 고려해 KISO와 회원사들이 선제적으로 대응하고 있다"고 밝혔다

한편 네이버, 카카오, SK컴즈 등 포털 3사는 KISO와 공동으로 청소년 보호 검색어 데이터베이스를 구축하고 관리하고 있다. 현재 약 5만1000개의 청소년 보호 검색어 데이터베이스를 운영하고 있으며, 지속적으로 업데이트 및 조정을 통해 최신 상태를 유지하고 있다.

아울러 KISO 자율규제DB위원회에서는 과거에 청소년 보호 검색어로 지정됐다가 검색어가 더 이상 유해한 검색 결과를 동반하지 않을 경우 제외하는 심의도 동시에 하고 있다.

청소년 보호 검색어로 지정되면, 해당 검색어를 입력할 경우 청소년에게 부적합한 검색 결과의 노출이 제한된다. 일반 이용자는 연령 확인 절차를 통해 검색 결과를 확인할 수 있다.

최우영 기자 young@mt.co.kr

ⓒ 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지