엔비디아, 오픈 소스 최고 성능 '코드 추론' 모델 공개

[박찬 기자]

(사진=유튜브)

엔비디아가 코드 생성과 문제 해결에 최적화된 추론 모델을 오픈 소스로 공개했다. 코딩 AI 분야 시장이 급성장하며 폐쇄형 모델의 대안을 제시했다는 점에서 주목받고 있다.

엔비디아는 최근 고성능 코드 추론을 위한 'OCR(Open Code Reasoning)' 제품군을 소개하고, 가중치와 구성을 허깅페이스에 오픈 소스로 공개했다.

OCR-네모트론-32B(OpenCodeReasoning-Nemotron-32B) OCR-네모트론-14B OCR-네모트론-7B 등 세가지 규모로 제공되며, 모두 상업적 용도로 사용할 수 있다.

코드 생성을 위한 추론을 위해 각각 '큐원2.5-32B-인스트럭트', '큐원2.5-14B-인스트럭트', '큐원2.5-7B-인스트럭트'를 미세조정했으며, 컨텍스트 창은 3만2000 토큰을 지원한다.

OCR 모델은 디버깅, 코드 생성, 논리 완성 등 실제 개발 환경에서 요구되는 복잡한 코드 추론 작업을 수행하도록 설계됐다.

코드 중심 벤치마크인 라이브코드벤치(LiveCodeBench)에서 오픈AI의 'o3-미니'와 'o1-로우(low)'를 능가하는 성능을 보였다. 특히, 32B 모델은 오픈 소스 모델 중 코드 추론 성능에서 최상위권을 기록했다.

엔비디아에 따르면 이번 성능 향상의 핵심은 'OCR 데이터셋'이라는 고품질 코드 중심 학습 데이터를 바탕으로 학습한 것이다. 이를 통해 명령어 수행, 다단계 문제 해결, 논리 추론 등에 최적화됐다.

특히, 토큰 효율성이 최대 30% 향상, 적은 토큰으로도 더 정확하고 논리적인 코드 출력을 생성할 수 있다고 강조했다.

OCR 모델은 다양한 추론 프레임워크와 호환성을 갖추고 있어 활용도가 높다. 예를 들어, llama.cpp를 통해 경량화된 CPU와 GPU 환경에서도 효율적인 추론이 가능하며, vLLM과 결합하면 고속 GPU 추론에도 최적화된 성능을 발휘한다.

또 허깅페이스의 트랜스포머(Transformers) 라이브러리를 통해 학습과 평가 파이프라인을 손쉽게 구성할 수 있고, TGI(Text Generation Inference)를 활용하면 확장 가능한 API 형태로 손쉽게 모델을 배포할 수 있다. 이를 통해 개발자, 연구자, 기업은 기존 AI 인프라에 OCR 모델을 손쉽게 통합할 수 있다.

한편, 최근 주요 AI 기업들은 코드 AI에 집중하고 있다. 구글은 이 분야의 전통적인 강자인 앤트로픽의 코딩 성능을 뛰어넘는 '제미나이 2.5 프로'를 출시했다. 또 오픈AI는 코딩 전문 스타트업 윈드서프를 인수했다.

이 가운데 엔비디아는 오픈 소스로 코드 전문 추론 모델을 공개, 이 분야 시장을 확대하려는 의도다. 폐쇄형 솔루션에 맞먹는 코딩 모델을 커뮤니티에 공개, AI 활용을 확대한다는 것이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>