GPT-4o, ARC-AGI에서 50% 정답률 달성…"기존 최고기록 뛰어넘어"

[AI리포터]

오픈AI 'GPT-4o' [사진: 오픈AI]

[디지털투데이 AI리포터] 인공지능(AI) 연구자 라이언 그린브랫(Ryan Greenblatt)이 AI의 추론 능력을 평가하는 지표인 ARC-AGI에서 GPT-4o를 활용해 50%의 정답률을 달성했다고 발표했다.

18일(현지시간) 온라인 매체 기가진에 따르면 ARC-AGI는 인간이 수행하면 어린이도 85%에서 100%의 점수를 달성할 수 있지만, 지금까지 AI의 최고 점수는 34%였다.

그린브랫은 GPT-4o에게 문제에서 해답을 생성하는 파이썬 프로그램을 대량으로 생성하게 하고, 모든 예제에 적용해 보고 유망해 보이는 프로그램을 사용하도록 지시했다.

이를 위해 GPT-4o가 문제를 읽게 하기 위한 표현 방법의 고안, 추론을 단계적으로 신중하게 진행하도록 구체적인 예시를 보여주는 프롬프트, 유망한 후보를 더 수정하도록 하는 프롬프트 등이 필요했다. 이 과정에서 50%의 점수를 달성하기까지 6일이 걸렸다고 한다.

그린브랫은 문제당 200만개의 프로그램을 생성하면 정답률이 70%에 도달할 것으로 추정하고 있다. 현재 ARC-AGI에서 85% 이상의 점수를 내는 AI를 개발한 사람에게 최대 50만달러(약 6억9065만원)의 상금이 주어지는 'ARC 프라이즈'가 개최 중이다. 다만 그린브랫은 폐쇄적인 GPT-4o를 사용하고 있으며 추론 시 과도한 컴퓨팅 리소스를 소비하고 있어 ARC 프라이즈의 대상이 아니다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>