[Part Ⅱ] 대응 나선 테크업계, AI 생성 이미지에 ‘꼬리표’ 붙인다지만… 제각각 기준에 AI지우개로 지우면 그만

딥페이크는 갈수록 정교해지고 있다. ‘워터마크(AI가 만들었다는 표식)’ 없이 제작할 수 있는 앱도 개발됐다. 최근에는 제작 비용과 시간이 획기적으로 낮아지면서 숫자가 늘어나고 있다. 전 세계적으로 사용자가 수십억에 달하는 글로벌 소셜미디어는 딥페이크와 가짜 뉴스가 유통되는 주된 창구가 되고 있다. 한국 정부가 구글에 요청한 콘텐츠 삭제 건수는 2020년 상반기 3만1754건에서 2023년 상반기 4만9735건으로 증가했다. 각국은 대응에 나섰다.

딥페이크로 만든 도널드 트럼프 전 미국 대통령이 체포되는 모습.

악시오스에 따르면 미국에서는 33개주에서 AI 딥페이크 방지 법안이 발의된 상태다. 뉴욕 65개, 캘리포니아 29개, 테네시 28개 순이다. AI로 생성한 정치 콘텐츠는 이를 표기하도록 고지 의무를 부과하거나, AI로 생성한 콘텐츠 자체 게시를 금지하는 방법 등이다.

특히 네브래스카주에서는 선거일 60일 전부터 딥페이크 콘텐츠 유포를 전면 금지하는 법안이 민주당 주도로 발의돼 있다. 또 애리조나주에서는 공화당 주도로 후보자나 해당 주 주민을 사칭한 콘텐츠를 게시할 경우 손해배상을 할 수 있도록 한 법안이 제출됐다. 이 밖에 아이다호주에서는 이미지가 합성일 경우 라벨을 붙이지 않으면 배포를 엄금하는 법안, 켄터키주에서 대상자 동의 없이는 딥페이크 콘텐츠를 유포할 수 없도록 한 법안이 발의돼 있다.

한국도 대책을 내놓았다. 여야는 딥페이크를 활용한 선거운동을 선거일 90일 전부터 전면 금지하는 내용이 담긴 공직선거법 개정안을 통과시켰다.

날로 커지는 딥페이크 부작용을 막아야한다는 국제 여론이 일자 빅테크 기업들의 발걸음도 빨라지고 있다. 전 세계 AI산업을 주도하는 기술 기업 23곳은 정보 조작 가능성이 있는 AI 딥페이크 확산 방지를 위해 글로벌 ‘공동전선’을 구축했다. 전세계 빅테크가 AI 딥페이크에 대응하기 위해 만든 일종의 협의체인 ‘AI 선거협정(AI Elections Accord)’이 바로 그것. 민주주의를 위협하는 딥페이크의 부작용을 막아야 한다는 국제 여론이 높아지는 가운데 딥페이크 식별과 탐지, 규제, 교육 등 분야에서 글로벌 표준 마련에 속도가 붙고 있는 것이다.

23개 회사가 모인 협의체에는 오픈AI, 마이크로소프트(MS), 구글, 메타, 엑스(X), 틱톡, 앤트로픽,어도비 등이 참여중이다. AI 기술 개발을 주도하고 생성 AI 콘텐츠 유통에 직간접적 책임이 있는 유력 회사들이 사실상 전부 들어간 것이다. 향후 국제적 차원의 딥페이크 대응 기술 개발과 스탠더드 마련에 있어 이들 협의체의 입김이 강하게 작용할 수 있다는 분석이 나온다.

빅테크들 기술 협약

빅테크 기업 23개사는 지난 2월 독일 뮌헨 안보회의에 참석해 딥페이크 부작용을 차단하는 것을 주요 내용으로 하는 ‘AI의 기만적 사용에 대처하기 위한 기술 협약’을 발표한 바 있다. 협정과 관련해 구속력도 없다는 점에서 선언 이상의 의미는 없다는 지적이 나온 가운데, 구체적인 후속 조치와 이행에 나설지 주목된다.

빅테크 23개사는 우선 선거 관련 AI 생성 콘텐츠의 위험성을 최소화하기 위한 기술을 개발하는 데 각종 협력에 나설 계획이다. 특히 AI가 생성한 콘텐츠를 식별·판독하는 기술 표준 등에 대한 논의가 활발히 이뤄질 것으로 보인다.

구글 딥마인드는 AI로 생성된 이미지를워터마킹하고 판별할 수 있는 툴 ‘SynthID’를 지난해 발표했다. 워터마크는 사람 눈으로는 감지할 수 없지만 이미지를 훼손하지 않으면서 필터 추가, 색상 변경, 다양한 손실, 압축 방식 등 수정 후에도 판별할 수 있다. 구글은 자사의 생성형 AI뿐만 아니라 다른 생성형 AI가 만든 이미지도 식별할 수 있게끔 발전시킬 예정이다.

구글 딥마인드가 개발한 워터마크 ‘신스아이디(SynthID)’로 워터마크가 추가된 사진. 눈으로는 확인이 어렵지만, AI 모델로 조작 여부를 확인할 수 있다.

유튜브는 AI 도구 사용 등을 통해 변형됐거나 합성된 콘텐츠를 제작한 크리에이터에게 사실을 공개하도록 요청할 예정이다. 이와 함께 콘텐츠의 일부가 변형 또는 합성되었음을 알리는 새로운 라벨을 콘텐츠의 설명 패널에 추가할 계획이다. 일부 합성 콘텐츠는 라벨의 여부와 관계없이 커뮤니티 가이드를 위반하면 플랫폼에서 삭제한다.

틱톡은 생성형 AI로 만들어진 콘텐츠에 라벨을 부착한다. 사용자가 이 같은 가이드라인을 실천할 수 있도록 돕는 라벨링 도구를 출시하기도 했다. 현재 업계에서는 MS와 어도비가 중심이 된 비가시적 워터마크 ‘C2PA’와 앞서 구글 딥마인드의 ‘SynthID’ 등이 표준적인 대안으로 거론된다. 관련 사안에 정통한 AI업계 한 관계자는 “AI 협정 회사들이 (딥페이크 콘텐츠에 대해) 강력한 증명방법을 사용하는 데 합의에 도달한 것으로 안다”면서 “우선 각 회사별로 라벨링 작업을 하면서 공동으로 새로운 출처기술을 개발하고 국제 표준을 맞춰나가는 것에 앞으로 논의가 집중될 것으로 보인다”고 했다.

LG AI연구원은 ‘AI 선거협정’에 국내 기업 중 유일하게 포함됐다. 각 기업·국가의 논리와 이해관계가 첨예하게 부딪칠 것으로 예상되는 딥페이크 대응 논의 과정에서 한국의 목소리를 대변하는 창구가 마련됐다는 평가가 나온다.

아시아 기업 중에는 LG AI연구원과 일본 보안회사 ‘트렌드 마이크로’ 두 곳만이 이름을 올렸다. 협의체 구성은 MS가 주도한 것으로 알려졌다. 업계에서는 해외 빅테크 기업들이 자체 생성형 AI 모델 엑사원을 개발하고 국제 AI 윤리 기구인 ‘유네스코 비즈니스 카운실’에 참여해온 LG의 행보를 높게 평가한 것으로 전해졌다.

국내 기업들도 대응에 속도 높여

개정 공직선거법 시행에 따라 딥페이크(특정 인물의 얼굴 등을 영상에 합성) 영상을 활용한 선거운동은 선거일 전 90일부터 선거일까지 전면 금지된다.<사진 연합뉴스>

국내 기업들도 날로 기승을 부리는 유해 딥페이크 콘텐츠 대응에 속도를 높이고 있다. 네이버와 카카오, SK커뮤니케이션즈는 3월 악의적 선거 딥페이크 사용 방지를 위한 공동선언을 채택했다. 선언문에는 ▲악의적 선거 딥페이크에 대한 탐지와 신속한 조치 ▲대응 정책 공개 ▲확산 방지를 위한 다양한 시민단체, 학계 등 외부 전문가와 교류 활성화 ▲악의적 선거 딥페이크에 대한 대중 인식 제고 등의 내용이 담겼다.

한국인터넷기업협회에 따르면 공동선언은 주요 IT 기업들이 악의적 선거 딥페이크에 대응하기 위해 자발적으로 구성한 자율협의체 활동의 일환으로, 제 22대 국회의원 선거 기간 동안 참여 기업 간 긴밀한 협력 기조를 세우기 위해 마련됐다. 협회는 기업별로 제공하는 서비스의 형태가 다양해 각각의 특성에 따른 추가 조치 방안도 준비하고 있다고 전했다. 다만 공동선언에서 구글코리아(구글)와 페이스북코리아(메타), 엑스(X·옛 트위터) 등 해외 빅테크들은 모두 빠졌다. 협회 측은 “뮌헨 협약을 통해 기만적 AI 선거 콘텐츠 대응 방침을 밝혔던 구글코리아, 메타(페이스북코리아), X(옛 트위터코리아) 등 해외 기업들은 ‘AI 기술협정’에 따라 이번 선언문을 채택한 국내 기업들과의 자율협의체 활동에 참여하면서 제 22대 국회의원 선거 기간 동안 적극 동참하고 대응할 예정”이라고 설명했다.

카카오는 3월부터 자사 AI 이미지 생성 모델 ‘칼로’에 비가시성 워터마크 기술을 도입했다. 지난해 12월 공직선거법 개정으로 4·10 국회의원 총선거 운동 기간인 현재 유권자를 상대로 한 AI 기반 딥페이크 제작·편집·유포·상영·게시가 금지된 데 따른 조치다. 카카오는 인물을 기반으로 한 AI 생성물에 대한 공유가 더 활발히 이뤄지는 만큼 카카오톡 채널 ‘칼로AI프로필’ 기능에 비가시성 워터마를 먼저 도입했다고 밝혔다. 카카오는 이미지 생성 웹 기반 전문가 도구인 ‘칼로.ai’에도 3월 내 비가시성 워터마크를 도입할 방침이다.

네이버는 자사 포털에서 ‘유해 딥페이크’ 콘텐츠로 연계될 가능성이 있는 검색어를 입력했을 때 검색 결과 상단에 딥페이크로 인한 문제와 주의를 환기하는 일종의 ‘경고 라벨’을 2월 28일부터 적용하기 시작했다. 4·10 총선을 앞두고 여론을 뒤흔들 여지가 있는 가짜 뉴스와 딥페이크로 인한 피해를 최소화하겠다는 취지에서다. 네이버가 자사 블로그를 통해 이러한 내용을 담은 딥페이크 대응책에 따르면 ‘딥페이크 사이트’ ‘딥페이크 만드는 법’ 같은 특정 키워드를 입력하면 검색 결과 최상단에 ‘딥페이크 기술 접근, 활용함에 있어 공직선거법, 성폭력처벌법 등 법령에 위반되거나 제3자의 권리를 침해하지 않도록 유의해 주세요’라는 경고 문구가 노출된다.

단순히 ‘딥페이크’ 용어 자체를 검색한다고 경고문이 나오는 것은 아니다. 특히 네이버는 자사 생성형 AI 챗봇인 ‘클로바X’와 검색 전용 AI 도구 ‘큐:(Cue:)’를 선거와 관련된 정보 요청이나 예측 등을 위해 사용하는 경우 생성형 AI의 기술적 한계를 명확히 하고 제공이 어려움을 안내한다는 계획이다. 또 선거 기간에는 한시적으로 클로바X와 큐: 서비스 대화창 하단에 선거 관련 사용자 주의 안내 문구를 제공할 예정이다. 네이버는 콘텐츠의 출처 정보를 확인할 수 있는 ‘글로벌 기술 표준(C2PA) 채택 추진’과 ‘비가시성 메타 정보 피처 반영 및 생성 콘텐츠를 탐지하는 기술’ 확보를 중장기적 목표로 연구 개발하고 있다.

플랫폼 기업들은 이 같은 기술 개발을 통해 무분별한 기술 오남용으로 인한 이용자 피해가 감소할 수 있을 것으로 기대하고 있다. 트래킹을 통해 생산자를 찾아낼 수 있어 악성 콘텐츠 생산에 심리적 장벽을 높일 수 있을 것이라는 판단이다. 또 유통 단계에서도 악의적으로 생성된 콘텐츠를 인지하지 못한 채 공유하는 것을 방지할 수 있다.

업계 관계자는 “모니터링이 100% 정확하게 이뤄지지 않으면 악성 콘텐츠가 무분별하게 유통될 수 있다”면서 “국내외 플랫폼 간의 대응 협의 및 기술 공조가 필요하다”고 말했다. 딥페이크 악용 관련 처벌 기준을 강화해야 효과적으로 문제 요소를 차단할 수 있다는 의견이 많다. 현재는 딥페이크 음란물이나 가짜 뉴스를 만들거나 유포해 입건되더라도 실제 처벌 수위가 낮아 범죄 근절 효과가 낮다는 지적이 끊이지 않는다. 김승주 고려대 정보보호대학원 교수는 “워터마크로는 수준 높은 기술을 사용하는 콘텐츠는 방지하지 못한다”면서 “수사력을 강화하고 일벌백계로 악용 사례에 대해 대책을 촘촘하게 세워야 한다”고 조언했다.

[김병수 기자 · 황순민 기자]

[본 기사는 매경LUXMEN 제163호 (2024년 4월) 기사입니다]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]