기업 IT 책임자는 “생성형 AI 기술은 여전히 개발 중인 상태이며, 여기에 투자하는 것은 수십억 원을 들여 ‘베타’도 아닌 ‘초기 알파 테스트’에 참여하는 것과 같다”라는 사실을 뼈저리게 깨닫고 있다. 개발자조차 버그 리포트를 따라가기 급급한 단계다.
생성형 AI는 ‘황금 시간대에는 투입 불가’한 알고리즘 그 자체다.
최근 사례 중 하나는 오픈AI가 챗지피티(GPT-4o) 최신 버전을 급히 롤백한 사건이다. 4o 버전은 여러 기능 업데이트와 함께 배포됐지만, 극도로 부정확한 번역을 결과물로 내 물의를 빚었다.
오픈AI, 챗지피티의 ‘엉뚱한 번역’ 논란에 긴급 롤백
한 CTO는 “챗지피티는 실제로 문서를 번역한 것이 아니라 사용자가 듣고 싶어할 말을 예측했고, 과거 대화 내용을 섞어 그럴듯하게 꾸며냈다. 단순히 단어를 예측한 게 아니라 사용자의 기대를 예측한 것이다. 정말 무서운 일이다. 그 결과를 믿었는데 말이다”라고 설명했다.
오픈AI는 지난주 챗지피티에 적용된 GPT-4o 업데이트를 되돌렸다며 “사용자는 이제 더 균형 잡힌 이전 버전을 다시 사용하고 있다. 이 업데이트는 지나치게 아부하거나 동의하는 성향(overly flattering or agreeable)으로 평가됐기 때문”이라고 밝혔다.
이어 오픈AI는 “다양한 작업에서 보다 직관적이고 효과적인 사용자 경험을 제공하고자 기본 성격을 조정한 결과였다”라며 “단기적 사용자 피드백에 지나치게 집중한 나머지, 시간에 따라 변화하는 사용자와의 상호작용까지는 충분히 고려하지 못했다”라고 설명했다.
또한, “사용자를 지지하려는 태도처럼 바람직해 보이는 특성조차 예상치 못한 부작용을 유발할 수 있다. 전 세계 수억 명의 사용자가 각기 다른 맥락에서 챗지피티를 사용하는 상황에서 단일한 응답 스타일로 모든 사용자의 선호를 반영할 수는 없다”라고 덧붙였다.
하지만 핵심을 피하고 있다는 지적도 나온다. 문제는 공손함이 아니라, 사용자가 요청한 번역 대신 듣고 싶어 할 말만 전달했다는 점이다. 엑셀이 사용자의 기분을 맞추려 수익을 임의로 조작하는 것과 다를 바 없다.
IT 의사결정자는 엑셀이 감정을 고려하지 않고 수치를 계산하듯, 중국어 문서 번역 역시 꾸며내지 않길 기대한다. 오픈AI가 “바람직한 특성에도 부작용이 있다”라고 설명해도, 틀린 답변이 나올 경우 그 결과는 잘못된 의사결정임이 분명하다.
예일대 “LLM에는 틀린 데이터도 필요해”
오픈AI 사례 외에도 최근엔 미국 예일대학교 연구진이 흥미로운 이론을 실험했다. LLM이 정답으로 라벨링된 데이터만 학습했다면, 정보의 진위 여부와 무관하게, 오류나 신뢰도 낮은 데이터를 구별할 수 없다는 것이 연구의 핵심이다.
즉, “틀렸다”라고 라벨링된 데이터를 본 적이 없다면, 어떻게 그것을 인식하겠는가? 예일대는 이 실험 결과를 논문으로 공개했다.
FTC, ‘워카도’의 AI 감지기 성능 과장을 제재해
미국 연방거래위원회(FTC)는 최근 생성형 AI 감지 솔루션을 개발한 워카도(Workado)에 대해 허위·오도 광고 혐의로 제재를 가했다.
FTC는 “워카도가 자사 AI 콘텐츠 감지기가 98% 정확도로 AI 작성 여부를 판단한다고 주장했지만, 실제 테스트에선 53%에 불과했다”라고 밝혔다.
FTC 소비자보호국 국장 크리스 무파리지는 “기업은 워카도의 감지기를 신뢰했지만, 이 제품의 정확도는 동전 던지기 수준이었다”라고 지적했다. “AI 관련 과장된 주장은, 진짜 기술력을 가진 기업의 시장 진입을 가로막는다”라고도 덧붙였다.
FTC는 “광고한 만큼의 정확성을 입증할 수 있는 타당하고 신뢰할 수 있는 근거를 갖춰야 한다”라고 명령하고, 워카도가 FTC법을 위반했다고 판단했다.
최근 일련의 사건은 기업용 IT 시장에서 생성형 AI 업체가 얼마나 근거 없는 주장을 내세우고 있는지를 보여준다. AI가 정보를 조작한다는 환각 문제가 잘 알려져 있지만, 일부 업체의 마케팅은 더 심각하다.
즉, 생성형 AI가 허구를 만들어낸다는 점을 우려한다면, 과장하는 마케팅에 더욱 주의할 필요가 있다.
dl-itworldkorea@foundryco.com
Evan Schuman editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.