[1월3주] 2025년 초 LLM 주요 기술 트렌드는...'추론·비용 그리고 에이전트'

[AI타임스]

최근 대형언어모델(LLM)과 관련한 기술 발전은 속도를 따라잡기 어려울 정도로 빠릅니다. 하루에도 굵직한 기술 논문이 몇개씩 등장하는 터라, 주요 모델을 소개하는 것도 힘에 부칠 정도입니다. 그래서 최근 해외 주요 매체들을 통해 드러난 주요한 LLM 트렌드를 정리해 봤습니다.

우선 오픈AI의 'o1' 등장 이후 가장 두드러진 것은 추론 모델의 증가입니다. o1 출시 이후 구글이나 앤트로픽 등은 물론 중국 AI 기업들이 일제히 추론 모델 개발에 나섰다는 이야기가 전해진 바 있고, 지난해 말부터 본격적으로 출시가 이어지고 있습니다. 가장 대표적인 것이 딥시크의 'V3'입니다. 추론을 강조하지 않아도 수학이나 코딩에 특화됐다는 식으로 추론 기능을 강조하는 모델은 부지기수입니다. 바이트댄스, 알리바바 등도 추론 전문 모델을 출시했습니다.

모델뿐 아니라 추론 모델을 구축하는 프레임워크나 방법론에 대한 논문도 많이 등장하고 있습니다. o1 같은 모델로 합성데이터를 만들고, 이를 통한 지식 증류(distillation)를 활용하는 것이 대부분입니다. 최근에는 o1 사후 훈련의 핵심인 '강화 학습'에 대한 프레임워크도 늘어나고 있습니다. 또 추론 모델의 검색을 위해 '몬테카를로 트리 탐색(MCTS)' 및 '빔 탐색'이 자주 등장하고 있습니다.

추론 모델의 가장 큰 문제점으로 꼽히는 것은 역시 컴퓨팅 리소스가 많이 들어간다는 것입니다. 그래서 비용을 낮추는 기술도 속속 소개되고 있습니다. 또 이는 추론 모델뿐만이 아니라, LLM의 본격적인 산업 도입에 따른 주요 이슈가 됐습니다. 즉, LLM 비용을 줄이는 기술은 트렌드를 넘어 영원한 화두가 될 것으로 보입니다. 며칠 전 메타도 관련 기술을 소개했습니다.

이런 분위기를 타고 지난해 말부터는 첨단 프론티어 모델 경쟁을 포기하고 소형언어모델(sLM)에 집중한다는 곳이 늘어났습니다. 기업용 LLM으로 유명한 코히어가 대표적입니다. 앤트로픽은 지난해 말 플래그십 모델 '클로드 오퍼스' 대신, 가장 작은 크기의 '클로드 3.5 하이쿠'를 내놓아 눈길을 끌었습니다.

또 마이크로소프트(MS)는 대표 모델 '파이-4'를 완전 오픈 소스로 공개해 주목받았습니다. 매개변수는 140억개인데, 몇배 큰 첨단 모델에 맞먹는 성능을 보여주는 것이 특징입니다.

올해의 화두인 AI 에이전트도 빼놓을 수 없습니다. 실제로 에이전트를 구축 중인 오픈AI나 MS, 구글 등을 중심으로 에이전트 구축 프레임워크에 대한 논문이 서서히 발표되고 있습니다. 아마존이 올 초 공개한 '오케스트레이션 에이전트'가 대표적입니다.

(사진=셔터스톡)

이 과정에서 눈에 띄는 것은 역시 중국의 오픈 소스 모델입니다. 오픈 소스 역대 최강으로 꼽히는 딥시크 V3 외에도 이번 주에는 미니맥스의 모델이 눈길을 끌었습니다. 이는 컨텍스트 창이 무려 기존 최대인 구글보다 2배에 달하는 400만 토큰으로, 이를 통해 많은 입력이 필요한 AI 에이전트에 대비하겠다는 것입니다. 또 중국 AI 스타트업 스텝펀은 1조개 이상 매개변수를 자랑하는 '스텝-2'라는 LLM을 개발 중인 것으로 알려졌습니다.

올해 상반기부터는 본격적으로 월드 모델(LWM)이 등장할 것으로 보입니다. 페이페이 리 교수의 월드랩스는 물론, 구글도 최근 관련 팀을 구성하고 기존 기술을 통합하겠다고 밝혔습니다. 로봇 개발을 본격 선언한 오픈AI에서 LWM을 내놓을 수도 있을 것으로 보입니다. 메타와 xAI도 이 분야에 집중하고 있습니다.

지난해부터 꾸준히 언급됐던 '트랜스포머' 아키텍처의 대안도 영향을 넓힐 것으로 보입니다. '맘바(Mamba)'와 같은 모델이 대표적인데, 이를 통해 기존 LLM의 한계를 넘는 인공일반지능(AGI)을 구축하자는 의도도 있지만, 모델 효율을 높이고 비용을 낮추자는 것도 주요한 이유입니다.

한편, 일부에서는 기업의 AI 본격 도입에 따라 이제는 AI 모델을 넘어 'AI 애플리케이션 시대'가 열렸다고 강조하고 있습니다. 틀린 말은 아닙니다. 하지만 애플리케이션이 됐든 AI 에이전트가 됐든 기반은 LLM입니다.

그리고 정작 국내 트렌드가 어떤지는 의문입니다. 최근 국내 AI 기업에서는 검색 증강 생성(RAG) 외에 딱히 주목되는 키워드를 발견하지 못했기 때문입니다. 물론, 기업의 본격 AI 도입에 따라 가장 시급한 것은 RAG 기술로 볼 수 있습니다.

이어 16일 주요 뉴스입니다.

(사진=엔디바)

■ "딥러닝 한계 넘어서는 AGI 개발 착수...열쇠는 프로그램 합성"

o3의 핵심 요소로 꼽힌 '프로그램 합성'을 통해 AGI를 개발하겠다고 선언한 곳이 나왔습니다. 파이썬 전문가로 유명한 프랑수아 숄레의 스타트업이 주인공으로, 숄레는 o3의 AGI 테스트를 담당했던 인물입니다.

■ '챗GPT'와 성적 대화 늘어..."2년 내 AI와의 관계 보편화될 것"

챗GPT를 친구 이상의 성적인 파트너로 활용하는 사례가 늘어난다는 소식입니다. 얼마 전 국내에서도 비슷한 소식이 전해진 바 있는데, 2년 뒤면 이런 추세가 보편화될 것이라는 예측까지 나왔습니다.

■ 엔비디아, 'GTC 2025' 첫날 양자 컴퓨팅 행사 개최

엔비디아가 오는 3월 열리는 GTC에서 양자 컴퓨팅을 주요 이슈로 소개했습니다. 양자컴퓨팅 칩이 상용화되면 가장 큰 피해를 볼 곳은 GPU를 만드는 엔비디아인데, 미리 이 분야까지 손을 써두자는 의도로 보입니다.

AI타임스 news@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>