가트너, 생성형 AI 최대 약점 '환각' 최소화 8대 해법 제시

가트너가 특화 모듈 설정·사용자 중심 지침 등 생성형 인공지능(AI)의 최대 약점으로 지목되는 환각 현상(할루시네이션)을 최소화하기 위한 여덟 가지 해법을 제시했다.

가트너는 최근 'AI 모델의 환각 위험을 최소화하는 전략' 보고서를 통해 거대언어모델(LLM) 환각 해소를 위해 기술 접근뿐만 아니라 비즈니스 관점에서 지속 개입으로 신뢰할 수 있는 AI 구축이 중요하다고 강조했다.

생성형 AI 서비스 사용자 신뢰와 신규 고객 확보에 환각이 직접 영향을 미친다는 이유다. 환각 현상은 LLM 등 AI가 사실과 다르거나 조작된 정보를 생성하는 현상이다. 생성형 AI 서비스 정확성을 저해하는 장애물이자 이해관계자 신뢰를 저해하고 비즈니스 프로세스 무결성을 위협하고 있다.

가트너는 AI의 환각 현상을 해소하기 위해 총 8개의 해결책을 제시했다. AI 개발단계에서는 범용 모델보다는 경량언어모델(SLM)과 같이 특화된 모듈을 설계해 습득 지식의 범위를 제한하고 전문성을 높이는 방안을 제안했다. 고품질 데이터 학습과 정확한 정책·지침·도구 제공으로 시스템 프롬프트를 강화해 환각 가능성을 낮추는 방법도 있다.

또 추론모델을 활용해 복잡한 문제는 작게 나눠 논리 기반 오류를 자체 수정하고 '강화학습(RL) 미세조정'이나 '컨페션(confession)'과 같은 새로운 LLM 기술로 환각을 완화하고, 사용자 시나리오별 위험이나 사실 확인 등 맞춤형 평가를 단계별 진행을 권했다.

AI 운영단계에서는 위험 최소화를 위해 사용자에 AI 시스템 관련 역할별 교육과 명확한 사용 지침 제공과 시스템 무결성 보호를 위한 강력한 가드레일 배포를 주문했다.

AI 서비스나 시스템 상용화 전에 내부 사용자 중심 베타 테스트, 외부 사용자 대상 파일럿 서비스 등을 거쳐 정식 서비스와 시스템을 가동하는 방안을 제시했다.

환각 현상 최소화를 위한 단계별 접근이 필요하다는 취지다. 두 가지 버전을 사용자 집단에 무작위 노출, 결과를 비교해 최적화 방안을 마련해나가는 'A/B 테스트'도 가트너의 방법론 중 하나다.

가트너는 AI 시스템과 서비스를 살아있는 제품으로 간주, 주기적으로 데이터·모델·성과지표(KPI)를 지속 모니터링하며 AI 서비스·시스템의 정책·지침·도구 등와 매개변수를 재조정할 것도 당부했다.

단, 범용 AI인 LLM의 환각 현상 완화를 위해 맞춤형 아키텍처를 과도하게 설계하는 것은 비효율적일 수 있다고 부연했다.

벤 얀 가트너 디렉터 애널리스트는 “현재 AI 기술로는 환각을 완전히 없앨 수 없다”며 “조직의 위험 허용 수준에 맞춰 관리하고 최종 사용자에게 발생 가능성을 인지시키는 것부터 시작해야 한다”고 밝혔다.

박종진 기자 truth@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]