[K-VIBE] 이은준의 AI 톺아보기...AI 필터링과 표현의 한계

[※ 편집자 주 = 한국국제교류재단(KF)의 2024년 발표에 따르면 세계 한류 팬은 약 2억2천5백만명에 육박한다고 합니다. 또한 시간과 공간의 제약을 초월해 지구 반대편과 동시에 소통하는 '디지털 실크로드' 시대도 열리고 있습니다. 바야흐로 '한류 4.0'의 시대입니다. 연합뉴스 K컬처팀은 독자 여러분께 새로운 시선의 한국 문화와 K컬처를 바라보는 데 도움이 되고자 전문가 칼럼 시리즈를 준비했습니다. 시리즈는 매주 게재하며 K컬처팀 영문 한류 뉴스 사이트 K 바이브에서도 영문으로 보실 수 있습니다.]

｜이은준 미디어아티스트, 경일대 사진영상학부 교수

이은준 교수

딥페이크 성 착취물로 온 나라가 시끄럽다. 여성단체는 물론 학부모도 연일 국회와 관계기관에서 관련법과 처벌 수위 확대에 관한 시위를 이어가고 있다. 그런 의미에서 25일 국회 법제사법위원회를 통과한 법안은 교육자이면서, 여성인 필자로서도 매우 반길만한 내용을 담고 있다.

성 착취물인지 알면서도 이를 소지하거나 시청하면 최대 징역형을 받을 수 있도록 한 법안이다.

법사위가 이날 의결한 성폭력 범죄 처벌특례법(성폭력처벌법) 개정안은 딥페이크 성 착취물을 비롯한 허위 영상물 등의 소지·구입·저장·시청죄를 신설해 3년 이하 징역 또는 3천만원 이하 벌금에 처하도록 했다.

눈길을 끄는 점은 여야 국회의원이 법안 대체토론 끝에 14조의 2, 제4항에 '알면서'라는 문구를 추가한 점이다.

딥페이크 성 착취물인지 몰랐는데도 저장했거나 시청했다가 수사나 처벌을 받을 수 있는 만큼 규정을 보다 명확히 한 것이다.

첨단 기술이 발전하면 할수록 그에 대한 반대급부로 윤리적 측면을 고려하지 않을 수 없는 시대다. 영상을 전문으로 하는 업종에 종사하지 않아도 딥페이크를 할 수 있는 시대도 문제지만 이러한 '범죄'를 생성하게 하는 기술의 근간을 들여다볼 필요도 있다.

대부분의 생성형 AI 이미지나 영상은 텍스트 기반의 프롬프트(명령어)로 만들어진다. 최근에는 디자인 회사에서 프롬프트 디자이너라고 해서 명령어를 잘 '디자인'하고 실행하는 인력을 채용하기도 한다.

그만큼 세상이 많이 바뀐 것이다.

◇ 예술 작품과 작가의 철학

필자는 미디어 아티스트로서 여러 가지 인공지능 이미지를 검색하고 조합하는 일을 한다. 최근 이미지 생성 인공지능을 탐색하다 보면 우연한 기회에 과도한 노출이 있거나 혹은 폭력적인 이미지가 생성되는 것을 심심치 않게 봤다.

현재 인공지능 기술은 현대인의 삶에 깊이 들어와 기존에 불가능한 것들을 가능하게 만들어주는 혁신을 보여주고 있지만, 여전히 윤리적 문제가 남아있다. 그래서 명령어인 프롬프트를 입력할 때 특정 단어를 걸러주는 프롬프트 키워드 필터링이 도입됐다.

인공지능이 생성하는 이미지에서의 프롬프트 키워드 필터링 문제는 인공지능 기술이 발전하면서 점점 더 중요한 쟁점이 됐다.

그래서 현재는 여러 기업의 인공지능 모델이 사용자 입력에 기반해 부적절한 콘텐츠 생성을 막기 위해 노력하고 있다.

관련 기업은 사용자가 의도적으로나 혹은 잘 몰라서 넣은 키워드로 발생할 수 있는 좋지 않은 결과를 막으려고 자사의 인공지능 모델에 필터링 시스템을 도입했다.

오픈AI(OpenAI)나 어도비(Adobe)와 같은 기업은 특정 키워드나 주제에 대한 생성을 제한하는 시스템을 강화하고 있다.

인공지능 프롬프트 필터링 시스템 이은준 교수 제작 이미지(인공지능 코파일럿 사용)

◇ 인공지능 텍스트 필터링 기술

프롬프트 필터링 문제는 텍스트 생성 인공지능 모델에서 먼저 제기됐다. 가짜 뉴스나 혐오 발언을 생성할 가능성이 있다는 우려에서이었다.

이후 많은 기업은 인공지능 기술에 프롬프트 필터링과 모니터링 시스템을 구축했다.

인공지능 이미지 생성기에서도 비슷한 문제가 발생했다. 특히 2020년부터 'GAN'(Generative Adversarial Networks)을 기반으로 한 이미지 생성 모델이 큰 주목을 받으며, 달리(DALL-E), 미드저니(Midjourney), 스테이블 디퓨전(Stable Diffusion) 같은 모델이 나왔다.

이러한 이미지 생성 모델은 텍스트 프롬프트를 바탕으로 이미지를 만드는데 뛰어난 성능을 보였지만, 동시에 부적절하거나 논란이 될 수 있는 이미지를 생성할 위험도 내포하고 있다.

인공지능 프롬프트 글쓰기 작업 이은준 교수 제작 이미지(인공지능 코파일럿 사용)

오픈AI의 달리나 마이크로소프트의 코파일럿(Copilot)과 같은 인공지능 이미지 생성 모델은 성적인 내용, 폭력적인 이미지, 정치적 선전물과 같은 특정 키워드가 포함된 프롬프트를 차단하거나 결과물을 생성하지 않게 돼 있다. 예를 들어, 'weapon', 'nudity' 같은 키워드는 자동으로 필터링돼 생성 요청이 거부되거나 무해한 이미지로 대체된다.

마이크로 코파일럿(Copilot)에 누드 생성을 시도한 내용을 캡쳐한 이미지 이은준 교수 제작

마이크로 코파일럿(Copilot)에 무기 생성을 시도한 내용을 캡처한 이미지 이은준 교수 제작

미드저니 역시 부적절한 콘텐츠 생성을 방지하기 위한 강력한 'NSFW'(Not safe for work) 필터를 사용하고 있다.

이 필터는 텍스트 입력과 이미지 출력을 모두 스캔해 커뮤니티 상의 윤리적 기준을 충족하는지 확인하도록 설계됐다. 그렇다고 모든 자동화 시스템과 마찬가지로 결함이 없는 것은 아니다.

◇ 필터링 시스템 한계와 미래 과제

역시 필터링 시스템은 여전히 완벽하지 않다.

기술적 필터링은 특정 키워드나 명백히 부적절한 표현에 대해서는 효과적이지만, 문맥적으로 애매한 프롬프트에 대해서는 부정확하게 작동할 수 있다.

은유적 표현이나 우회적 언어를 쓸 경우 필터링 시스템이 제대로 인식하지 못할 수 있다.

필터링이 지나치게 엄격해질 경우, 예술가가 인공지능을 이용해 실험적이거나 비판적인 예술을 창작하는 데 제약이 생길 수 있다.

예술적 표현의 자유와 사회적 책임 사이의 균형을 맞추는 것이 기술적으로나 윤리적으로 매우 어려운 과제다.

모든 것은 관객의 판단에 맡긴다고 말하는 시대지만 그만큼 예술 작품 속에 많은 고민과 노력을 기울여야 하는 것은 인공지능 시대나 르네상스 시대나 마찬가지다. 그것이 인공지능이든 붓이든 간에 말이다.

<정리 : 이세영·성도현 기자>

raphael@yna.co.kr

▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
▶네이버 연합뉴스 채널 구독하기
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>