벤치마크·전문가·사용자 평가 종합 1위
네이버, 가중치 차용 논란에 탈락
네이버, 가중치 차용 논란에 탈락
 |
과기부, 독자AI 파운데이션 모델 프로젝트 1차 단계평가 결과 발표 |
(서울=연합뉴스) 박형빈 기자 = 정부가 국가대표 인공지능(AI) 모델을 가려내기 위해 제시한 핵심 기준은 모델 설계의 '기술력'과 '독자성'이었다.
15일 과학기술정보통신부는 정부종합청사에서 '독자 AI 파운데이션 모델 프로젝트' 1차 평가 결과를 발표하고 5개 정예팀 가운데 LG AI연구원, 업스테이지, SK텔레콤[017670] 등 3개 팀을 통과시켰다고 밝혔다. NC AI와 네이버클라우드는 이번 평가에서 탈락했다.
◇ LG '압도적 1위'... 벤치마크·전문가·사용자 평가 싹쓸이
정부는 평가의 객관성을 확보하기 위해 정예팀들과 사전 협의를 거쳐 ▲ 벤치마크 평가(40점) ▲ 전문가 평가(35점) ▲ 사용자 평가(25점) 등 세 가지 항목으로 점수를 산출했다.
평가 결과 LG AI연구원은 세 항목에서 각각 33.6점(평균 30.4점), 31.6점(평균 28.56점), 만점인 25점을 획득해 종합 1위를 기록했다.
벤치마크 평가는 NIA 벤치마크, 글로벌 공통 벤치마크, 개별 벤치마크로 나뉘어 수학·지식·장문 이해·신뢰성·안전성 등 모델의 기본 역량을 종합적으로 검증했다.
NIA 벤치마크에서는 SK텔레콤과 LG AI연구원이 각각 10점 만점에 9.2점을 받았고, 글로벌 공통 벤치마크에서는 LG AI연구원이 20점 만점 중 14.4점을 기록했다. 개별 벤치마크에서는 업스테이지와 LG AI연구원이 10점 만점을 획득했다.
전문가 평가는 산학연 외부 AI 전문가로 구성된 평가위원회가 개발 전략과 기술 수준, 성과 및 향후 계획, 산업적 파급효과 등을 종합적으로 검토했다.
이 과정에서 각 팀이 공개한 기술보고서와 모델 훈련 로그 파일을 분석해 기술 개발 과정의 완성도와 독자성을 중점 평가한 결과 LG AI연구원이 가장 높은 점수를 받았다.
AI 전문 사용자 49명이 참여한 사용자 평가에서는 실제 산업 현장에서의 활용 가능성과 추론 비용 효율성을 기준으로 평가가 이뤄졌다. LG AI연구원은 이 부문에서도 만점을 기록했다.
다만 LG AI연구원을 제외한 나머지 팀들의 종합 점수는 공개되지 않았다. 정부는 평가 기준과 큰 틀만 공개하고, 개별 기업의 세부 점수는 밝히지 않겠다는 방침이다.
이에 따라 가장 낮은 점수를 받아 탈락한 NC AI가 어떤 항목에서 어떤 점수를 받았는지는 알 수 없다.
류제명 과기정통부 2차관은 "이번 프로젝트는 최종 승자를 가려내기 위한 과정이 아니라, 경쟁을 통해 국내 AI 기업의 역량을 글로벌 수준으로 끌어올리기 위한 것"이라며 "참가 기업이 예기치 않게 입을 수 있는 직간접적 피해를 최소화하기 위해 개별 점수 공개는 자제하겠다"고 설명했다.
 |
과기부, 독자AI 파운데이션 모델 프로젝트 1차 단계평가 결과 발표 |
◇ 네이버클라우드, '독자 AI 모델' 요건 미충족 판단
이번 평가에서 네이버클라우드는 정량 평가와 별개로 '독자 AI 모델' 요건을 충족하지 못했다는 판단을 받아 탈락했다.
앞서 네이버클라우드는 알리바바의 '큐웬' 모델 인코더와 가중치를 활용한 사실이 알려지며 독자 AI 모델을 선발하는 프로젝트 취지에 부합하는지를 둘러싸고 논란이 일었다.
정부는 프로젝트 기획·추진 과정에서 독자 AI 파운데이션 모델을 '해외 모델 미세조정(파인튜닝) 등으로 개발한 파생형 모델이 아닌 모델의 설계부터 사전학습 과정 등을 수행한 국산 모델'로 정의했다. 이를 토대로 기술적·정책적·윤리적 측면에서 독자성을 종합 평가했다.
정부는 특히 기술적 독자성 측면에서 네이버클라우드가 기준을 충족하지 못했다고 봤다.
과기정통부는 "가중치를 초기화한 후 학습하면서 AI 모델을 개발하는 것이 국내외 AI 업계·학계 전반에 통용되는 독자 AI 모델의 기본조건"이라며 "오픈소스를 전략적으로 활용하더라도 가중치를 초기화한 후 학습, 개발 수행하는 것이 모델의 독자성 확보를 위한 최소조건"이라고 했다.
류제명 과기정통부 2차관도 "이미 만들어진 가중치를 사용하는 것은 타인의 학습 경험을 무임승차 하는 것에 가깝다"고 말했다.
업스테이지와 SK텔레콤 역시 일부 레퍼런스 공개와 관련해 윤리적 기준에 대한 지적을 받았으나, 평가 결과의 당락을 좌우할 정도의 중대한 결함으로 보지는 않았다고 정부는 설명했다.
다만 류 차관은 "오픈소스를 죄악시해서는 절대 안 된다"며 "글로벌 기준에 맞는 라이선싱 전략에 따라 오픈소스를 활용하는 것은 당연하지만, 이번 프로젝트는 그럼에도 불구하고 우리 스스로 모델을 설계하고 학습해보자는 취지"라고 덧붙였다.
binzz@yna.co.kr
▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
▶네이버 연합뉴스 채널 구독하기
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.