"1분내 가짜 세포 이미지 뚝딱"…생성 AI에 논문 검증 골머리

"미드저니 등 생성AI 툴 발전한 탓…육안으론 적발 힘들어"

AI 탐지 설루션 '프루피그' 등장…"원본 데이터 라벨링도 방법"

ⓒ News1 김초희 디자이너

(서울=뉴스1) 윤주영 기자 = 생성형 인공지능(AI)을 악용한 데이터·이미지 조작으로 인해 출판업계의 연구 논문 검증도 힘들어지고 있다.

7일 과학계에 따르면 최근 국제학술지 네이처에도 이런 우려가 실렸다.

학술지는 올해 2월 국제 학술지 '프런티어즈 인 셀 앤 디벨롭멘털 바이올로지'에 실렸던 한 논문을 소개했다. 논문에는 터무니없이 큰 생식기를 지닌 쥐 이미지가 사용됐는데 알고 보니 생성 이미지 설루션 '미드저니'로 만든 것이었다. 논란을 빚게 되자 해당 논문은 철회됐다.

이 사례는 비교적 명확했지만 최근 대부분의 이미지 조작은 탐지가 어렵다.

네이처는 이미지 포렌식 검증 전문가 엘리자베스 빅을 인용하며 "기존 어도브 포토샵 등 툴로 조작한 이미지의 경우 조작의 분명한 징후가 확인됐으나 생성형 AI 툴의 등장 이후로 결정적 증거를 찾는 게 어려워졌다"고 설명했다.

이어 "문제점이 발견된 논문들은 몇 년 된 것들이고 최근 몇년은 표면적인 적발이 줄어드는 추세"라며 "조작을 시도하는 사람들이 더욱 깨끗한 이미지를 만드는 데 집중하기 때문"이라고 덧붙였다.

인용된 또 다른 전문가 케빈 패트릭은 "포토샵 생성 채우기 기능을 쓰면 1분 내로 가짜 세포 사진 등을 만들 수 있다"며 "누구나 손쉽게 할 수 있어 이런 가짜 데이터가 거래되는 시장도 있을 것"이라고 우려했다.

종합하면 설루션의 다양화·고도화로 인해 문제가 심화한다는 의미다.

또 인용된 전문가들은 "상당수 저널이 AI 생성 텍스트의 사용까진 허용하는 추세지만 이미지나 데이터를 조작하는 것은 다른 문제"라고 선을 그었다.

육안으로 탐지가 어려워지자 AI 기반의 탐지 설루션도 나오기 시작했다. AI가 야기한 조작 문제를 AI로 해결하는 것이다.

대표적으로 사이언스지 등이 채용한 설루션 '프루피그'가 있다. 개발사 프루피그 AI가 수천 개 조작 이미지를 대상으로 진행한 시연에 따르면 프루피그의 탐지율은 약 98%다.

이밖에도 오스트리아에 소재한 스타트업 '이미지트윈'도 유사한 탐지 설루션을 보유했다.

하지만 개발사들이 탐지 알고리즘을 명확히 밝히지 않아 인간의 교차 검증은 필수적이다.

독일 학술지 FEBS 프레스의 이미지 분석가 야나 크리스토퍼는 "탐지 설루션이 제한적으로 유용할 순 있겠으나 아직 인간 전문가가 검증은 필요하다"고 했다.

또 그는 "현미경으로 찍은 원본(로우) 데이터에 눈에 보이지 않는 워터마크 등을 삽입해 검증에 활용하는 것도 방법이 된다"며 "이에 필요한 기술 개발과 장비 표준이 나와줘야 할 것"이라고 덧붙였다.

legomaster@news1.kr

Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.