"저비용·고성능 AI 개방"…메타 '라마4-매버릭·베헤모스' 등 공개

MoE 구조 도입으로 연산 비용 줄여…中 딥시크에 맞대응

"초장문 이해·멀티모달 강화…정치·사회 논쟁적 질문에도 답변"

메타의 벨기에 브뤼셀 사무실. 2022.12.06 ⓒ 로이터=뉴스1 ⓒ News1 김지완 기자

(서울=뉴스1) 김민석 기자 = 중국 스타트업 기업 '딥시크' 충격에 대응해 메타가 1년 만에 '전문가 혼합'(MoE) 구조 도입으로 연산 비용을 크게 줄인 인공지능(AI) 모델 시리즈 '라마 4'를 공개했다.

앞서 구글·마이크로소프트(MS) 등 빅테크 기업들은 저비용·고성능 경량화 AI 모델을 잇달아 내놨다. 오픈AI도 조만간 추론형 개방 모델을 출시할 예정이다.

메타는 5일(현지시간) 라마 4 모델 '스카우트'(Scout)와 '매버릭'(Maverick)을 오픈소스 소프트웨어로 공개했다. 지난해 4월 '라마 3' 시리즈를 선보인 이후 1년 만이다.

스카우트·매버릭은 공식 웹사이트와 허깅페이스로 이용할 수 있다. 메타는 현재 훈련 중인 또 다른 모델 '베헤모스'(Behemoth)도 소개했다.

라마 4 모델은 질문 유형에 맞춰 필요한 전문가 모델만 활성화하는 방식을 적용했다.

매버릭은 총 4000억 개의 매개변수를 갖췄지만. 실제 사용자 질문엔 170억 개 매개변수(128개 전문가 중 일부 선택)만 활성화해 비용을 낮췄다.

메타는 "일반 어시스턴트와 챗 응용에 최적화했다"며 "창작, 코딩, 다국어 처리 등에서 오픈AI의 'GPT-4o'와 구글 '제미나이 2.0을 능가했다"고 언급했다.

스카우트는 GPU 한 장으로 작동 가능한 경량 모델이다. MoE 방식으로 총 1090억개 매개변수 중 170억 개를 활성화해 답변을 내놓는다.

지난달 구글은 단일 GPU 또는 TPU(텐서처리장치)로 구동할 수 있는 경량 언어모델 '젬마3'를 오픈소스로 공개한 바 있다.

마크 저커버그 메타 CEO가 발표하고 있다.(메타 제공)

메타가 '세계에서 가장 똑똑한 LLM'을 만들기 위해 훈련시키고 있는 베헤모스의 매개 변수 규모는 약 2조 개로 전해졌다.

메타는 "자체적인 수학·과학 분야 테스트에서 GPT-4.5, 클로드 3.7, 제미나이 2.0 프로보다 높은 성능을 보였다"고 말했다.

메타는 라마 4 시리즈에 응답 거부 기준을 완화해 이전 시리즈 모델 대비 정치적·사회적 논쟁을 포함한 질문을 피하지 않고 답변을 내놓을 것이라고 설명했다.

메타는 라마 4 시리즈에 특히 음성 기능을 강화할 예정이다. 파이낸셜타임스 등 외신에 따르면 메타는 이용자와 AI 모델 간 자연스러운 쌍방향 대화를 구현하기 위해 자원을 집중하고 있다.

마크 저커버그 메타 CEO는 인스타그램을 통해 "목표는 세계 최고 AI를 구축하고 오픈 소스화하는 것"이라며 "오픈소스 AI가 선도적 모델이 될 것이라고 오래전부터 말해왔다. 라마 4 시리즈를 시작으로 이를 실현하게 할 것"이라고 말했다.

ideaed@news1.kr

Copyright ⓒ 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.