'GPT-4'보다 12배 더 빠른 AI 에이전트 모델 오픈 소스 등장

[박찬 기자]

인공지능(AI) 스타트업 카타네모가 AI 에이전트 구축에 중요한 함수 호출을 가속화하는 대형언어모델(LLM)을 오픈 소스로 출시했다. AI 에이전트에 특화된 모델이니만큼, 기존 대형언어모델(LLM)보다 함수 호출 속도가 10배 이상 빠르다고 강조했다.

벤처비트는 15일(현지시간) 카타네모가 함수 호출 작업을 위해 특별히 설계된 아치-함수-1.5B(Arch-Function-1.5B) 아치-함수-3B(Arch-Function-3B) 아치-함수-7B(Arch-Function-3B) 등을 오픈 소스로 공개했다.

이 모델들은 복잡한 함수를 이해하고, 필요한 매개변수를 식별하고, 자연어 프롬프트를 기반으로 정확한 함수 호출 출력을 생성하도록 설계됐다.

이를 위해 아치(Arch)라는 지능형 프롬프트 게이트웨이를 오픈 소스화했다.

이 게이트웨이는 API를 사용하여 LLM 애플리케이션을 보호, 관찰하고 개인화하도록 설계됐다. 10억개 미만의 매개변수를 가진 특화된 LLM을 사용하여 프롬프트 처리와 관련된 모든 중요한 작업을 처리한다.

여기에는 탈옥 시도를 감지하고 거부하는 기능, 사용자 요청을 처리하기 위해 백엔드 API를 지능적으로 호출하는 기능, 중앙 집중화된 방식으로 프롬프트와 LLM 상호작용의 가시성을 관리하는 기능이 포함된다. 이 솔루션은 개발자가 빠르고 안전하며 맞춤화된 생성 AI 앱을 어떤 규모에서든 구축할 수 있도록 지원한다.

카타네모는 다음 단계로 게이트웨이 뒤에 있는 일부 '지능'을 아치-함수 LLM 모음의 형태로 오픈 소스화했다.

알리바바의 '큐원 2.5'를 기반으로 15억, 30억 및 70억개의 매개변수를 갖춘 함수 호출 특화 LLM을 구축했다. 이를 통해 외부 도구 및 시스템과 상호작용해 디지털 작업을 수행하고 최신 정보에 접근할 수 있다.

아치 함수는 프롬프트를 분석하고, 프롬프트에서 중요한 정보를 추출하고, 가벼운 대화를 통해 사용자로부터 누락된 매개변수를 수집하고, API 호출을 수행하여 기업이 에이전트 애플리케이션을 개발할 수 있도록 지원한다.

살만 파라차 카타네모 CEO는 "간단히 말해 아치-함수는 사용자 프롬프트를 통해 트리거된 애플리케이션 특정 작업을 호출하여 LLM 앱을 개인화하는 데 도움을 준다"라며 "아치-함수를 사용하면 보험 청구 업데이트부터 프롬프트를 통해 광고 캠페인 생성에 이르기까지 도메인 특정 사용 사례에 맞춘 빠른 자율적 워크플로를 구축할 수 있다"라고 말했다.

https://twitter.com/salman_paracha/status/1846180933206266082

카타네모는 아치-함수 모델의 함수 호출 기능은 품질 면에서 오픈AI와 앤트로픽의 최첨단 모델을 능가하거나 동등한 성능을 보이며, 속도와 비용 절감 측면에서 상당한 이점을 제공한다고 강조했다.

'GPT-4'와 비교해 아치-함수-3B는 약 12배의 처리량 향상과 44배의 비용 절감을 제공한다. 'GPT-4o' 및 '클로드 3.5 소네트'에 대해서도 유사한 결과가 나타났다.

자연어 프롬프트 세트를 사용해 아치-함수 모델은 복잡한 함수를 이해하고, 필요한 매개변수를 식별하며, 정확한 함수 호출 출력을 생성할 수 있다. 이를 통해 API 상호작용이나 자동화된 백엔드 워크플로와 같은 필요한 작업을 실행할 수 있다. 이는 기업이 에이전트 애플리케이션을 개발할 수 있도록 지원한다.

기업은 아치-함수를 통해 에이전트 애플리케이션을 지원하는 더 빠르고 경제적인 함수 호출 LLM을 확보할 수 있다는 설명이다. 아직 이런 모델이 어떻게 활용되고 있는지에 대한 사례 연구를 공유하지 않았지만, 높은 처리량 성능과 낮은 비용은 캠페인 최적화를 위한 데이터 수집 처리나 클라이언트에게 이메일 발송과 같은 실시간 생산 사용 사례에 이상적인 조합을 제공한다고 전했다.

한편, 최근에는 AI 에이전트 관련 모델이나 기술 공개가 부쩍 증가했다.

전날에는 오픈 AI가 비공식적으로 에이전트 구축 프레임워크를 공개했으며, 라이터도 지난 9일 자율 에이전트를 지원하기 위해 설계된 LLM '팔미라 X 004'를 출시했다. 에이전트 관련 벤치마크 데이터셋도 계속 출시되고 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>