KT, AI ‘믿:음 2.0’ 오픈소스 공개…‘한국적 AI’ 대중화 박차 [신규 AI 서비스]

파라미터값 115억 ‘베이스’·23억 ‘미니’
AI 개발자 플랫폼 ‘허깅페이스’에 오픈
한국 언어·문화 등 맥락 정밀하게 반영
국내 AI 생태계 활성화 기여 기대감 ↑

KT 기술혁신부문 연구원들이 서울 서초구 KT 우면연구센터에서 ‘믿:음 2.0’을 테스트하고 있다. [KT 제공]

KT는 자체 개발한 인공지능(AI) 언어모델(LLM) ‘믿:음 2.0’의 오픈소스를 공개한다. 기업, 개인, 공공 누구나 상업적으로 활용할 수 있도록 개방해 ‘한국적 AI’ 대중화에 박차를 가한다는 목표다. 110억 파라미터 이상의 한국어 범용 LLM을 상업적으로 활용할 수 있는 오픈소스로 공개한 것은 KT가 처음이다.

KT는 AI 개발자 플랫폼 허깅페이스(HuggingFace)를 통해 ‘믿:음 2.0’을 공개할 예정이라고 3일 밝혔다.

‘믿:음’은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델이다. 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다고 KT 측은 강조했다. KT는 2023년 ‘믿:음 1.0’ 버전의 스탠다드·프리미엄 2종을 출시한 이래 KT AICC, 지니TV, AI 전화, 100번 고객센터 등 다양한 서비스에 활용해 왔다.

이번에 KT가 새롭게 선보이는 믿:음 모델은 한국적 AI라는 철학을 담았다. 구체적으로 ▷115억 파라미터 규모의 ‘믿:음 2.0 베이스’ ▷23억 파라미터 규모의 ‘믿:음 2.0 미니’ 2종으로 모두 한국어와 영어를 지원한다.

믿:음 2.0 베이스는 범용 서비스에 적합한 모델로 한국 특화 지식과 문서 기반의 질의응답에 특화됐다. 믿:음 2.0 미니는 베이스 모델에서 증류한 지식을 학습한 소형 모델이다.

KT는 믿:음 모델이 한국어·한국 문화·사회 등의 분야에서 기존 국내외 주요 모델을 뛰어넘는 이해력과 생성 성능을 입증했다고 강조했다. KT와 고려대가 공동 개발한 한국어 AI 역량 평가 지표인 ‘코-소버린(Ko-Sovereign)’ 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다. 코-소버린은 한국적 AI 성능을 종합적으로 평가할 수 있도록 언어, 문화, 사회, 역사 등의 한국적 맥락을 정밀하게 반영한 전문가 수준의 문항으로 구성됐다.

이와 함께 한국과 관련한 전문 지식의 이해도를 측정하는 대표적 벤치마크 ‘KMMLU’와 한국어 언어모델 평가 지표인 ‘HAERAE’에서도 믿:음은 국내외 주요 오픈소스 모델보다 더 우수한 성능을 기록했다고 KT 측은 설명했다.

KT는 국내 교육용 도서와 문학 작품, 발간물, 법률, 특허 문서, 각종 사전 등 다양한 산업·공공·문화 영역에서 방대한 한국 특화 데이터를 확보해 믿:음 2.0 학습에 활용했다. 또 저작권 이슈가 있는 데이터는 모두 제거하는 등 고품질 데이터를 선별해 가공했다.

이외에도 한국어의 구조와 언어학적 특성을 반영한 토크나이저(Tokenizer)를 자체 개발하고, 필터링으로 줄어든 데이터 규모는 데이터 합성 방법론을 적용해 보완했다. 이를 통해 한국 사회 고유의 언어와 문화적 맥락을 정교하게 반영하여 한국어 사용자에 최적화된 언어 이해 능력과 정밀한 표현력을 지닌 모델로 구현했다. 고려대 민족문화연구원과 산학 협력을 통해 한국적 A’로서 믿:음 2.0의 학술적 신뢰도도 확보했다.

AI의 윤리성과 신뢰성을 높이기 위해 전문가들과 함께 만든 ‘AI 영향 평가 체계’도 적용했다. 개발 단계에서 리벨리온과 긴밀히 협력하며 국산 AI 반도체에서의 동작을 최적화했다.

KT는 믿:음 2.0을 공개를 계기로 국내 AI 생태계에 ‘한국적 AI’ 확산을 선도한다는 목표다.

KT의 AI 철학인 한국적 AI는 한국의 정신·방식·지식을 기반으로 구현해 한국에 가장 잘 맞는 AI를 의미한다. KT는 한국의 사회적 맥락과 같은 무형의 요소와 한국어 고유의 언어적·문화적 특성 등을 반영해 학습한 AI 모델을 개발해 대한민국의 산업과 일상 속에서 AI가 자연스럽게 스며들어 대중화될 수 있도록 힘을 실을 방침이다.

아울러 마이크로소프트(MS)와 협업으로 GPT-4에 한국적 사고를 추가 학습시키는 방식의 모델 또한 순차 공개할 예정이다.

신동훈 KT 젠 AI 랩장(CAIO·상무)은 “믿:음 2.0은 일반적인 생성 능력을 갖추면서도 한국의 문화와 언어를 깊이 이해하도록 고도화된 AI 모델”이라며 “KT가 고성능 한국적 AI 모델에 대한 새로운 대안을 제시하고 글로벌 경쟁력을 갖추는 중요한 발판이 될 것”이라고 말했다. 박세정 기자