구글 딥마인드, 이미지 생성 AI 벤치마크 '젝코' 공개..."모델 약점 파악 가능"

[박찬 기자]

구글 딥마인드가 이미지 생성 인공지능(AI) 모델의 성능을 평가하기 위한 벤치마크를 공개했다. 프롬프트에 맞는 정확한 이미지 생성이 중요한 텍스트-이미지 생성 AI 모델에 대한 평가 도구로 자리매김할 것이라는 전망이다.

벤처비트는 29일(현지시간) 구글 딥마인드 연구진이 텍스트-이미지 AI 모델의 성능을 평가하는 벤치마크 '젝코(Gecko)'에 관한 논문을 온라인 아카이브에 게재했다고 전했다.

연구진은 "지금은 텍스트에서 이미지로 생성하는 모델이 널리 사용되고 있지만, 이 모델들이 반드시 주어진 프롬프트와 일치하는 이미지를 생성하지는 않는다"라고 지적했다. 이어 "현재 달리나 미드저니, 스테이블 디퓨전과 같은 모델의 능력을 평가하기 위해 주로 사용되는 데이터셋이나 자동 측정법도 제한적이고 중요한 점을 놓칠 수 있으며 인간 평가와도 다를 수 있다"라고 주장했다.

이를 해결하기 위해 개발한 젝코는 텍스트-이미지 생성 모델에 대한 벤치마크 기준을 높인다. 다양한 기술과 복잡성을 테스트하는 2000개의 텍스트 프롬프트를 제공한다. 이런 프롬프트를 특정 하위 기술로 분류, 모델의 이미지 생성 퀄리티를 떨어 뜨리는 정확한 약점을 찾아낸다.

연구진은 "이 기술 중심의 벤치마크는 프롬프트를 하위 기술로 분류해 사용자가 어떤 기술이 어려운지뿐만 아니라, 어떤 수준의 복잡성에서 기술이 어려워지는지를 정확히 파악할 수 있도록 한다"라고 설명했다.

젝코 프레임워크는 텍스트에서 이미지로 변환하는 AI 모델의 평가에서의 단점을 해결하기 위해 포괄적인 기술 중심의 벤치마크 데이터셋 다양한 템플릿에 걸친 폭넓은 인간 주석 개선된 자동 평가 메트릭 다양한 기준에서 모델 성능에 대한 통찰력을 제공한다.

또 요즘 유행하는 인간 선호도 평가도 추가했다.

젝코 프롬프트에 대한 여러 주요 모델들이 생성한 이미지에 대해 10만건 이상의 인간 평가를 수집했다. 이를 통해 이 벤치마크는 모델의 한계, 모호한 프롬프트, 일관되지 않은 평가 방법으로 인해 성능 차이가 나타는지를 구분해 낼 수 있다는 설명이다.

마지막으로 젝코는 질문 응답을 기반으로 한 자동 평가 측정을 특징으로 하고 있으며, 이 측정법은 기존보다 인간의 판단과 더 일치한다는 설명이다. 최신 모델을 비교할 경우, 이전에 감지되지 않았던 각 모델의 장점과 약점을 파악할 수 있었다고 밝혔다.

젝코 벤치마크 테스트를 수행한 결과, 딥마인드의 '뮤즈(Muse)' 모델이 구글의 '이마젠(Imagen)', 스태빌리티 AI의 '스테이블 디퓨전 XL' 및 '스테이블 디퓨전 1.5' 보다 전반적으로 높은 점수를 기록한 것으로 나타났다.

딥마인드는 젝코 코드와 데이터를 무료로 사용할 수 있도록 할 방침이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>