작정하고 만들면 못 막는다고? 'AI 잡는 AI'가 딥페이크 킬러 [팩플]

지난달 30일 정부서울청사 앞에서 열린 '딥페이크 성범죄 규탄 여성ㆍ엄마들의 기자회견'에서 참가자들이 손팻말을 들고 있다. 연합뉴스

인공지능(AI)로 만든 딥페이크 제작물에 대한 공포가 커지고 있다. 다만 AI로 누군가 ‘나쁜’ 딥페이크를 만들어내고 있다면, 다른 한 쪽에선 이를 잡는 기술 개발도 한창이다. 딥페이크 저작물임을 알 수 있는 표식을 넣거나, 진짜 영상과 다른 점을 파악해 잡아내는 식. 그래도 작정하고 만든 딥페이크를 막을 순 없다는데. AI 잡는 AI 기술, 어디까지 왔을까.

━

무슨 일이야

지난 5일 국회에서 열린 딥페이크 성범죄영상물 관련 정책토론회에서 이동수 방송통신심의위원회 디지털성범죄심의국장은 “다음 달 구글·유튜브·페이스북 등 글로벌 플랫폼들과 간담회를 할 예정”이라고 밝혔다. 딥페이크에 대한 사회적 불안이 커지면서 민간 기업들과의 딥페이크 대응 공조를 강화해 나가겠다는 취지다.

딥페이크의 부작용을 둘러싼 논란은 생성AI가 확산하기 시작할 무렵부터 함께 커졌다. 해외에선 정치에도 영향을 미치고 있다. 미국 공화당 대선 후보 도널드 트럼프 전 대통령은 지난달 ‘테일러는 당신이 도널드 트럼프에게 투표하길 원한다’는 문구가 담긴 가수 테일러 스위프트의 이미지를 자신의 소셜미디어(SNS)에 올렸다. 알고 보니 AI로 만든 딥페이크 이미지였다.

도널드 트럼프 전 미국 대통령이 자신의 SNS에 올린 가수 테일러 스위프트의 딥페이크 합성물. 트루스소셜 캡처

━

빅테크들은 어떻게 해

자연스럽게 딥페이크 규제를 요구하는 목소리도 커졌다. 가장 먼저 주목받은 건 워터마크 기술. 생성AI로 만들어진 콘텐트에 ‘AI로 만들었다’는 일종의 표식을 다는 원리다.

조 바이든 행정부는 지난해 10월 딥페이크 영상·사진·음향에 의무적으로 워터마크를 부착하는 행정명령을 시행했고, 유럽연합(EU)도 지난 5월 AI 콘텐트 자체에 워터마크를 의무화한 AI법을 최종 통과시켰다. 오픈AI, 알파벳 등 빅테크 20곳이 이런 흐름에 발맞춰 지난 2월 독일 뮌헨안보회의(MSC)에서 딥페이크 콘텐트에 ‘AI가 만들었다’는 라벨을 붙이기로 한 합의문을 발표하기도 했다.

빅테크의 워터마크 기술 중엔 구글 딥마인드가 지난해 8월 공개한 ‘신스ID(SynthID)’가 대표적이다. 신스ID는 이미지의 개별 픽셀에 워터마크를 넣어서 해당 이미지가 실제가 아니라는 사실을 판별할 수 있다. 워터마크는 사람 눈에 보이지는 않지만, 별도의 AI를 통해 구분해낼 수 있다. 구글은 지난달 공개한 이마젠3로 만든 이미지에도 비가시성 워터마크를 표시하고 있다.

메타도 자체 AI 툴인 메타AI를 활용해 만든 이미지에 ‘이매진드 위드 AI’(Imagined with AI) 라벨을 붙이고 있다. 오픈AI도 자사 이미지 생성 AI 달리3에서 만들어낸 이미지에 워터마크를 삽입하고 있다. 이미지 뿐 아니라 음성 감지 기술을 개발하기도 한다. 유튜브는 자동 콘텐츠 식별 시스템 ‘Content ID’ 내에서 AI로 합성된 노래를 식별할 수 있는 기술을 내놨다.

사진 셔터스톡

━

국내 스타트업 기술은

국내 기업들도 딥페이크 탐지 기술을 내놓는 중이다. 딥브레인AI는 딥페이크로 의심되는 영상이나 이미지를 넣으면 진위 여부를 판별하는 탐지 솔루션을 개발했다. 원본 사진과 딥페이크 합성물의 차이점을 딥러닝으로 학습해 얼굴 윤곽이나 눈·코·입 등 특징을 개별 픽셀 단위로 분석, 변조 확률을 알려주는 솔루션이다. 딥브레인AI는 지난 3월부터 경찰청에 이 솔루션을 제공하고 있다.

보안 전문 기업 샌즈랩도 비슷한 방식으로 딥페이크 탐지 기술을 개발 중이다. 지난 4월부터 LG유플러스, 포티투마루 등 기업들과 컨소시엄을 구성해 참여한 ‘생성AI 역기능 대응 기술 개발’ 국가 연구개발(R&D) 과제의 일환이다. 이 기술 역시 얼굴 윤곽 등의 픽셀을 분석해 어색한 부분을 탐지해내는 방식이다. 샌즈랩 관계자는 “오픈소스 AI를 활용해 세 가지 탐지 모델을 개발 중”이라고 말했다.

━

한계는 없나

김영옥 기자

아직 한계점도 뚜렷하다. 가장 큰 맹점은 워터마크나 딥페이크 탐지 기술 모두 사후 대안으로, 당사자가 비동의하는 딥페이크를 사전에 막을 방법이 사실상 없다는 점. 딥페이크를 사전에 막는 솔루션을 개발하는 스타트업도 등장하고 있지만, 아직 초기 단계다. 울산과학기술원(유니스트) 창업팀 트로하의 김민환 대표는 “원본 사진에 씌우면 딥페이크로 합성했을 때 원본을 알아볼 수 없도록 이상한 결과물이 나오는 노이즈 필터를 개발하고 있다”고 설명했다.

오픈소스 AI 모델로 만들어진 딥페이크 앱은 현재까지 나온 법과 규제로 통제가 어렵다는 문제도 있다. 시중에 공개된 대다수의 딥페이크 앱들은 소스코드 등이 무료로 공개돼 자유롭게 활용할 수 있는 오픈소스 AI를 이용하고 있다. 이렇게 만들어진 딥페이크가 다크웹 같은 음지에서 유통되고 있는 것.

임종인 고려대 정보보호대학원 석좌교수(대통령실 사이버특별보좌관)는 “빅테크에서 만든 생성AI들은 규제에 따라 워터마크를 삽입하거나 성착취물 자체를 만들지 못하게 하는 등 조치를 취하겠지만, 문제는 오픈소스로 만들어져 다크웹 등에서 유통되는 AI”라며 “이 콘텐트들이 유통되고 있는 플랫폼과의 협력이 필수”라고 말했다.

■ 더중앙플러스: AI 딥페이크의 공습, 기술이 구할 수 있을까?

인터넷에 떠도는 사진만으로도 10분이면 뚝딱, 범죄로까지 이어질 수 있는 치명적 딥페이크를 만들 수 있다는데요. 생성AI의 발전만큼이나 커지고 있는 딥페이크의 그림자. 어떻게 한 사회를 위협하고 있는지, 막을 방법은 없는지 팩플 오리지널을 통해 확인하세요.

초짜도 10분만에 만들었다, 한동훈·이재명 가짜 영상

https://www.joongang.co.kr/article/25237670

“인터넷도 그렇게 탄생했다” AI 석학의 ‘딥페이크’ 항변

https://www.joongang.co.kr/article/25275493

범죄에 오픈된 ‘오픈소스 AI’…딥페이크 막기 힘든 까닭 [팩플]

https://www.joongang.co.kr/article/25273605

김민정 기자 kim.minjeong6@joongang.co.kr

▶ 중앙일보 / '페이스북' 친구추가

▶ 넌 뉴스를 찾아봐? 난 뉴스가 찾아와!

ⓒ중앙일보(https://www.joongang.co.kr), 무단 전재 및 재배포 금지