애플의 '추론 모델 한계' 논문 논란..."AI 뒤처진 애플의 꼼수"

[박찬 기자]

애플이 추론 모델은 실제로 인간처럼 생각하는 것이 아니라는 취지의 논문을 내놓았다. 그러자 다른 연구자들이 이번 실험에 문제가 있다고 반발하며 논란이 일어났다. 또 AI에 뒤처진 애플이 다른 회사의 성과를 깎아내리는 데 집중했다는 비난이 쏟아졌다.

애플 연구진은 9일(현지시간) 현재 대형언어모델(LLM)의 추론 능력에는 근본적인 한계가 있다고 지적하는 내용의 '사고의 환상(The Illusion of Thinking)'이라는 제목의 논문을 발표했다.

이번 연구는 기존 수학 및 코딩 벤치마크를 넘어, '하노이의 탑(Tower of Hanoi)'이나 '강 건너기(River Crossing)'와 같은 퍼즐을 AI가 얼마나 잘 풀 수 있는지를 분석한 것이다.

연구진은 오픈AI 'o1' 및 'o3', 클로드 '3.7 소네트 싱킹', '제미나이 싱킹', '딥시크-R1'과 같은 대표적인 추론 모델을 대상으로, 문제의 난이도를 점차 높여가며 정확도와 사고 과정을 함께 평가했다. 실험에는 동일한 수준의 컴퓨터 자원을 사용하는 조건으로, 비추론 모델도 비교 대상으로 포함됐다.

연구 결과에 따르면, 단순한 과제에서는 추론 없이 학습된 일반 LLM이 더 정확하고 효율적인 성능을 보였다. 그러나 문제가 중간 수준의 복잡도로 올라가자, 사고 사슬(CoT)과 같은 구조적 추론 방식이 탑재된 모델이 성능 우위를 보이기 시작했다.

하지만 복잡도가 한계치를 넘어서면, 추론 모델과 일반 모델 모두 답을 내는 데 완전히 실패했다. 연산 자원의 여유와 무관하게 정확도는 0%로 급락했고, 문제 해결 능력은 사라졌다.

또 문제 난이도가 높아질수록 대부분의 추론 모델은 더 많은 사고 단계를 거쳤지만, 임계점에 도달하면 오히려 사고 과정이 짧아지는 현상이 나타냈다고 주장했다. 충분한 연산 자원이 남아 있지만, AI가 스스로 사고를 중단하는 듯한 비정상적 행동을 보였다는 설명이다.

AI 모델의 추론 성공 여부가 문제의 익숙함(familiarity)에 크게 의존한다는 점도 확인했다고 전했다. 이는 모델이 진정한 사고 능력을 갖췄다기보다, 훈련 데이터에 대한 익숙함에 기반해 문제를 푸는 경향이 있다는 것을 보여준다는 내용이다.

애플은 "현재의 추론 모델은 인간처럼 사고하는 것이 아니라 일종의 패턴 매칭을 수행하고 있을 뿐"이라며 작업이 너무 복잡해지면 추론 능력이 무너지는 것으로 보인다고 결론 내렸다. 따라서 LLM의 아키텍처와 성능이 인공일반지능(AGI)을 달성할 수 있는 방법이 아니라는 주장이다.

https://twitter.com/scaling01/status/1931783050511126954

그러나 연구 결과가 알려지며, 이에 대한 반박과 비난이 쏟아졌다.

가장 널리 알려진 것은 ML 연구자인 리산 알 가이브(Lisan al Gaib)라는 X(트위터) 사용자의 분석이다. 그는 애플 연구진이 토큰 예산 실패를 추론 실패와 혼동했다고 주장했다. 즉, 하노이의 탑과 같은 퍼즐은 출력 크기가 기하급수적으로 커지지만 LLM 컨텍스트 창은 고정돼 있기 때문에 올바른 전략을 생성해도 오류로 표시된다는 것이다.

특히, 다음날에는 '생각의 환상의 환상(The Illusion of the Illusion of Thinking)'이라는 반박 논문이 등장했다. 여기에는 가이브의 주장을 비롯해 커뮤니티에서 애플 논문에 반박하는 내용과 애플의 실험 설계와 사용한 방법론이 근본적으로 잘못됐다는 주장을 담고 있다.

이 논문은 AI 연구자인 알렉스 로센과 앤트로픽의 추론 모델인 '클로드 오퍼스'가 공동 집필한 것으로 돼 있다.

일부에서는 애플 논문이 세계개발자회의(WWDC)에 맞춰 발표됐다는 것을 지적했다.

AI 연구에서 뒤처지며 행사에서 변변한 발표도 내놓지 못한 애플이 다른 회사들이 이뤄놓은 추론 모델에 대한 성과를 깎아내리기에 급급했다는 비판이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>