'국대 AI' 1차 평가서 네이버·NC 고배...정예팀 1곳 추가 선발

[이진호 기자]

= [사진: 셔터스톡]

[디지털투데이 이진호 기자] 국가대표 AI 모델을 뽑는 '독자 AI 파운데이션 모델' 프로젝트에서 네이버클라우드와 NC AI 정예팀이 탈락했다. 네이버클라우드는 벤치마크 수치로는 1차 평가를 통과했지만 독자성 기준을 충족하지 못해 고배를 마셨다.

과학기술정보통신부, 정보통신산업진흥원(NIPA), 한국정보통신기술협회(TTA)는 15일 독자 AI 파운데이션 모델 프로젝트 1차 단계평가 결과를 공개했다.

독자 AI 파운데이션 프로젝트에는 네이버클라우드, 업스테이지, SK텔레콤, NC AI, LG AI연구원 등 5개 컨소시엄이 참여했다. 그간 과기정통부와 NIPA, 5개 정예팀은 여러 차례 심층 논의를 거쳐,1차 단계평가 방안과 기준을 마련했다.

◆LG AI 연구원, 벤치마크 평가 3종 모두 최고점

1차 단계평가는 벤치마크 전문가 사용자 평가를 진행했다. AI모델 성능(AI Frontier Index)과 실제 현장 등에서의 활용 가능성과 모델크기 등의 비용 효율성, 국내외 AI생태계 파급효과·계획 등을 포함한 사용성·파급효과(AI Diffusion Index) 등을 종합적으로 평가했다.

40점 배점의 벤치마크 평가는 NIA 벤치마크 평가(10점) 글로벌 공통 벤치마크 평가(20점) 글로벌 개별 벤치마크 평가(10점)로 진행했다.

NIA 벤치마크 평가는 수학·지식·장문이해 뿐 아니라 AI안전연구소와 협업해 신뢰성과 안전성 분야까지 평가했다. 글로벌 공통 벤치마크 평가는 세계적으로 인정되는 벤치마크 13종(에이전트, 수학, 지식·추론, 지시 준수 등 다수 영역 분포)을 선정해 진행했다. 글로벌 개별 벤치마크 평가는 정예팀별 글로벌 타겟 모델(SOTA급)과 비교 가능한 벤치마크 5종에 대해 평가가 이뤄졌다.

NIA 벤치마크 평가는 SK텔레콤과 LG AI연구원이 각각 10점 만점 중 9.2점을 받아 5개 정예팀 중 최고점을 기록했다. 글로벌 공통 벤치마크 평가는 LG AI연구원이 20점 만점 중 14.4점으로 최고점을 기록했다. 글로벌 개별 벤치마크 평가는 업스테이지와 LG AI 연구원이 10점 만점 중 10.0점의 최고점을 득점했다.

35점 배점인 전문가 평가는 산학연 외부 AI 전문가 10명으로 구성된 평가위원회를 통해 각 팀이 제출한 자료를 장기간 심층 평가했다. 개발 전략 및 기술, 개발 성과 및 계획, 파급효과 및 기여계획을 종합 평가했다.

위원회는 5개 정예팀이 공개한 모델별 테크니컬 리포트, AI모델 훈련 상태 로그 파일 등을 분석해 정예팀의 기술개발 과정, 독자성 등을 포함한 기술력을 평가했다. 그 결과 LG AI연구원이 35점 만점 중 31.6점의 최고점을 득점했다. 참여 정예팀 평균은 28.56점이었다.

25점 배점인 사용자 평가 AI 스타트업 대표 등 49명의 AI 전문 사용자가 참여했다. 정예팀이 개발한 AI모델로 구축한 AI 사용 웹사이트를 기반으로 실제 현장 활용 가능성과 추론 비용 효율성 등을 분석했다. LG AI 연구원이 25점 만점을 받아 평균 20.76점보다 4점 이상 높은 점수를 받았다.

과기정통부는 이 같은 평가 점수를 종합한 결과 NC AI를 제외하고 LG AI연구원 네이버클라우드 SK텔레콤 업스테이지를 4개팀에 포함했다.

지난해 9월9일 '독자 AI파운데이션 모델' 프로젝트 착수식에서 5개 정예팀 대표들이 배경훈 과기정통부 장관과 기념촬영을 하는 모습. (사진 왼쪽부터)임우형 LG AI연구원장, 김유원 네이버클라우드 대표, 배경훈 장관, 이연수 NC AI 대표, 유영상 SKT 사장, 김성훈 업스테이지 대표. [사진: 과기정통부]

◆네이버 탈락 이변‥ 독자성 분석에서 고배

과기정통부는 1개 정예팀을 탈락시킨다는 당초 방침과 다르게 이번 1차 평가에서 총 2개팀을 탈락시켰다. 낮은 벤치마크 평가를 받은 NC AI와 함께 네이버클라우드가 고배를 마셨다. 네이버클라우드는 벤치마크 평가 문턱은 넘었지만 정부가 제시한 독자성 기준을 충족하지 못해 이번 1차 평가에서 탈락했다.

과기정통부는 프로젝트 공모안내서에 독자 AI 파운데이션 모델 정의를 "해외 모델 파인튜닝 등으로 개발한 파생형 모델이 아닌 모델의 설계부터 사전학습 과정 등을 수행한 국산 모델"이라고 정의한 바 있다.

과기정통부는 기술적 측면에서 독창적 AI 모델 아키텍처 설계부터, 대량의 데이터를 스스로 확보·가공하고 독자적 학습 알고리즘 기법 적용 등을 통해 전 과정 학습을 수행한 AI모델의 독자적 구현을 지향한다.

과기정통부 관계자는 "글로벌 AI생태계에서 오픈소스를 활용하는 것이 일반적인 추세이긴 하나, 가중치를 초기화 후 학습하면서, AI모델을 개해나가는 것이 국내외 AI업계·학계 전반에 통용되는 독자 AI모델의 기본조건"이라고 설명했다.

이에 따라 이번 평가에서는 정예팀이 검증된 오픈소스를 전략적으로 활용하더라도, 가중치를 초기화한 후 학습, 개발 수행하는 것을 모델 독자성 확보를 위한 최소조건으로 설정했다.

정책적 측면에서는 국가 기밀 유출 우려나 국가 안보에 대한 위협 등이 발생할 가능성을 해소하기 위해 AI모델을 언제든 스스로 개발·고도화할 수 있고, 어떤 상황에서도 주체적으로 AI모델의 운영·이용을 통제할 수 있는 역량 확보를 지향했다.

즉, 완전한 한국 기술로 AI모델을 개발하거나, 라이선스 제약 없는 오픈소스를 활용해 스스로 개발·고도화할 수 있어야 한다. 오픈소스 활용에 따른 외부 통제·간섭으로부터도 자유로울 수 있어야 한다.

윤리적 측면에서는 개발한 AI모델의 레퍼런스 고지 등 라이선스 정책 준수를 강조했다. 과기정통부는 "AI생태계 신뢰 확보, 공개 검증 강화, 투명성 제고를 통해 건전한 발전을 도모해야 할 필요가 있다"고 제시했다.

이런 3가지 관점을 종합 고려한 결과 네이버클라우드 정예팀 AI모델은 독자성 기준을 충족하지 못하는 것으로 판단됐다. 전문가 평가위원들도 독자성 한계에 대한 문제를 제기했다. 과기정통부는 이와 같은 제반 사항을 고려해 네이버클라우드 정예팀이 독자 AI 파운데이션 모델 조건에 부합하지 못하는 것으로 결정했다.

그 결과 1차 단계평가를 거쳐 기존 5개 정예팀 중 LG AI연구원, 업스테이지, SKT 정예팀이 2차 단계로 진출했다.

◆과기정통부, 1개 정예팀 추가 공모

과기정통부는 독자 AI 파운데이션 모델 최초 공모에 접수한 컨소시엄, 이번 1차 단계평가 이후 정예팀에 포함되지 않은 컨소시엄(네이버클라우드, NC AI 컨소시엄), 그 외 역량 있는 기업 등 모두에게 기회를 열어 1개 정예팀을 추가로 선정한다. 이를 통해 올 상반기 중 4개 정예팀 경쟁체제 확보한다.

추가 선정되는 1개 정예팀에게는 GPU·데이터 지원, 'K-AI 기업' 명칭 부여 등 독자 AI 파운데이션 모델 개발에 도전할 수 있는 기회를 제공한다. 과기정통부는 행정적 절차를 조속히 진행해 정예팀 1곳의 추가 공모를 추진한다.

과기정통부는 "이번 프로젝트는 대한민국이 글로벌 AI 경쟁에서 독자적 기술로 당당히 맞서기 위한 역사적 도전"이라며 "지속 가능하고 건강한 AI 생태계를 구축하고, 대한민국이 글로벌 AI 기술 경쟁의 선두에 설 수 있도록 가용한 모든 국가역량과 자원을 집중하겠다"고 밝혔다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>