메타 "추론 시간 짧을수록 AI 정확도 34% 향상...과하게 생각하지 말 것"

[박찬 기자]

(사진=셔터스톡)

추론 과정을 간결하게 할수록 인공지능(AI) 시스템은 정확도가 높아진다는 연구 결과가 나왔다. 이는 더 많은 컴퓨팅을 투입하면 정확도가 높아진다는 추론 모델의 상식과는 언뜻 반대로 보여 주목됐다.

메타의 AI 연구팀 FAIR와 이스라엘 히브리대학교 연구진은 28일(현지시간) 대형언어모델(LLM)의 추론 성능을 높이는 새로운 방법에 관한 논문 '오버싱킹은 금물: AI 추론 성능 높이는 '짧은 생각' 전략(Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning)'을 아카이브에 발표했다.

핵심은 아이러니하게도, AI가 '덜 생각하도록' 만드는 것이다. 다만, 컴퓨팅을 덜 투입하는 것이 중요한 것이 아니라, 사고 사슬(CoT)의 과정을 짧게 만드는 것이 핵심이다.

연구 결과에 따르면, 긴 추론 과정보다 짧은 추론이 더 높은 정확도를 보였다. 짧은 추론은 같은 질문에 대해 가장 긴 추론보다 최대 34.5% 더 정확한 정답을 도출한 것으로 나타났다.

이 현상은 여러 상위권 AI 모델과 다양한 벤치마크 테스트에서 일관되게 확인됐다.

연구진은 기존의 CoT가 과도한 연산을 유발한다며, 대안으로 'short-m@k'라는 새로운 추론 기법을 제안했다.

이 방식은 k개의 독립적인 CoT를 동시에 병렬로 수행하고, 그 중 m개의 CoT가 먼저 완료되면 계산을 중단한다. 최종 답변은 가장 짧은(shotest) m개의 CoT 결과 중 하나를 다수결 투표로 선택하는 식이다.

기본 short-1@k는 연산량이 적은 환경에서도 표준 다수결 방식과 비슷하거나 더 뛰어난 성능을 보여주며, 사고에 사용되는 토큰 수를 최대 40%까지 줄일 수 있었다.

short-3@k는 short-1@k보다 약간 효율이 떨어질 수 있다. 그러나, 모든 연산 예산 범위에서 꾸준히 표준 다수결 방식보다 우수한 성능을 보이며, 전체 실행 시간도 최대 33%까지 단축됐다.

연구진은 이런 현상이 학습 과정에서도 똑같이 나타난다고 밝혔다. "짧은 추론 예시로 미세조정한 모델이 오히려 더 좋은 성능을 낸다"라며 "반대로 긴 예시로 미세조정한 경우에는 추론 시간이 길어지지만 성능 향상은 거의 없다"라고 지적했다.

또 "이번 결과는 현재 AI 추론 모델의 테스트 방식 자체를 재고하게 만든다"라며 "길게 생각한다고 해서 반드시 성능이 좋아지지는 않으며, 오히려 정답률이 떨어질 수 있다"라고 말했다.

그동안 추론 모델은 스케일링 법칙의 한계를 뛰어넘을 방식을 꼽혀왔지만, 연산 자원이 크게 들어간다는 것은 별 차이가 없었다. 그러나, 이번 결과는 오히려 '짧고 간결한 추론'이 더 정확하고 효율적인 AI를 만든다는 점을 보여주는 예로 꼽힌다.

연구진은 AI도 인간처럼 "과하게 생각하지 말라(Don't overthink it)"라는 교훈에서 배울 수 있다고 밝혔다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>