딥 페이크, 눈 빛 반사로 가려내...“94% 정확도”

특정 인물의 얼굴과 음성을 합성해 만든 가짜 영상물 ‘딥페이크(deepfake)’ 기술이 논란인 가운데 버팔로대학(UB) 컴퓨터 과학자들이 눈 속 빛 반사를 분석해 자동으로 딥페이크 사진을 식별하는 도구를 개발했다.

딥페이크 기술을 이용한 가짜 동영상들은 음란물이 대부분이다. 이로 인해 피해자들에게 심각한 심리적 피해를 입히고 있다. 또 유명 정치인들을 모방한 가짜 뉴스도 생산하고 있다. 최근 한국에서도 딥페이크를 활용한 K팝 아이돌 성적 대상화 논란이 일었다.

이 도구는 캐나다 토론토에서 6월에 열릴 IEEE 국제 음향·음성·신호처리 컨퍼런스에서 발표할 논문(Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights, arXiv) 실험에서 초상화 스타일 사진을 정확도 94%로 가짜 영상을 가려냈다.

원리는 각막은 거의 완벽한 반구와 비슷하고 매우 반사적이다. 따라서 일반적으로 우리는 이를 인식하지 못하지만 빛이 눈에 들어오면 각막에 이미지가 맺힌다. 이 도구는 딥페이크 이미지의 눈에 반사된 빛에서 작은 편차를 발견해 진위를 가려낸다.

딥페이크는 '적대적 생성 신경망(GAN·Generative Adversary Network)'을 사용해 만든다. 하지만 인공지능으로 생성된 대부분 이미지는 이러한 요소를 포함한 정확하게 만들지 못한다.

연구팀은 실험을 위해 플리커 페이스-HQ(Flickr Faces-HQ)에서 실제 이미지와 AI 생성 얼굴의 저장 공간인 www.thispersondoesnotexist.com에서 가짜 이미지를 얻었다. 모든 이미지는 인물 사진으로 화질은 1,024x1,024 픽셀이었다.

그런 다음 도구를 이용해 각 면을 매핑하고 눈을 검사하고, 이어서 눈동자와 마지막으로 각 눈알에 반사되는 빛을 검사했다. 그 결과 모양, 빛의 강도 및 반사된 빛의 특징에서 믿을 수 없을 정도로 상세하게 비교한다.

하지만 이 기술이 유망하지만 한계도 있다. 우선, 반사된 광원이 필요하다. 또한 이미지를 편집하는 동안 일치하지 않는 눈의 빛 반사를 수정할 수 있다. 또한, 이 기술은 눈의 모양, 눈동자 모양, 눈에 반사되는 특성이 아닌 눈에 반사되는 개별 픽셀만 확인한다.

마지막으로, 이 기술은 양쪽 눈의 반사를 비교한다. 따라서 피사체가 눈동자에 없거나 보이지 않으면 기술이 실패한다.

해당 논문 주 저자이자 20년 넘게 머신러닝과 컴퓨터 비전 프로젝트를 연구해온 시웨이 류(Siwei Lyu) 교수는 앞서 딥페이크 동영상이 깜박임 속도가 일정치 않거나 아예 존재하지 않는 경향이 있다는 사실을 입증했다.

그는 2020년 페이스북의 딥페이크 검출 글로벌 도전을 도왔고, 일반인이 본 영상이 실제로 딥페이크인지 테스트하는 데 도움이 되는 온라인 자원인 '딥페이크-오-미터'(Deepfake-o-meter)를 만드는 데 일조했다.

김들풀 기자 itnews@