中 연구팀, AI 프레임워크 '크래들' 개발…인간처럼 게임 플레이

[AI리포터]

[디지털투데이 AI리포터] 인공지능(AI)의 성능 향상에 따라 복잡한 시나리오에서 작업을 수행하는 AI 에이전트가 개발되고 있다고 17일(현지시간) 온라인 매체 기가진이 전했다.

중국 연구팀이 가장 통일된 인터페이스인 '화면'을 입력으로, '키보드'와 '마우스'를 출력으로 사용해 마치 사람처럼 게임이나 애플리케이션(앱)을 조작할 수 있는 AI 프레임워크 '크래들'(Cradle)을 발표했다.

연구팀은 다양한 시나리오에서 AI 에이전트를 일반화하기 위해 'General Computer Control'(GCC)을 제안했다. GCC를 달성하기 위해서는 여러 능력이 필요한데, 이를 위한 예비적 시도로 개발된 것이 대규모언어모델(LLM)을 활용한 AI 프레임워크인 크래들이다.

크래들은 오픈AI의 GPT-4o를 사용하며, 여러 모듈을 통해 다양한 작업을 수행하고 게임을 플레이한다. 'NPC를 쫓아가기', '특정 장소로 이동하기'와 같은 간단한 작업에서 크래들은 상당히 높은 성공률을 보였다. 반면 '위험하고 구불구불한 길로 이동하기', '실시간 전투 및 수색 작업 수행'과 같은 복잡한 작업에서는 공간 인식과 시간 관련 의사결정에 취약해 성공률이 떨어지는 것으로 나타났다.

크래들은 게임뿐만 아니라 '크롬에서 논문 다운로드하기', '크롬에서 엑스(트위터)에 글 올리기' 등 일반적인 컴퓨터 작업에서도 일정 수준의 성공률을 보였다. 그러나 특정 UI를 인식하지 못하거나 시각적 맥락을 놓치는 경우가 있었다.

연구팀은 크래들을 보다 강력한 AI 에이전트를 개발하기 위한 선구적인 연구로 활용할 계획이다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>