모티프테크놀로지스, 독파모 추가 공모 참여한다

[황치규 기자]

[사진: 모티프]

[디지털투데이 황치규 기자]AI 스타트업 모티프테크놀로지스(Motif Technologies)는 과학기술정보통신부가 조만간 공고할 '독자 AI 파운데이션 모델(독파모)' 추가 공모에 적극 참여하기로 했다고 20일 밝혔다.

이를 위해 지난해 7월 구성했던 컨소시엄 외에 추가 업체들과도 논의를 진행하고 있다. 모티프테크놀로지스는 고성능 LLM(거대 언어 모델)과 LMM(거대 멀티모달 모델) 모두를 파운데이션 모델로 개발한 경험 기반으로 한국기술 독자성을 증명하기 위해 노력할 예정이다.

회사 측에 따르며뉴모티프테크놀로지스가 지난해 11월 공개한 거대 언어 모델(LLM) 'Motif 12.7B'는 모델 구축부터 데이터 학습까지 전 과정을 직접 수행한 결과물이디. 특히 기존 트랜스포머 구조를 그대로 쓰지 않고, '그룹별 차등 어텐션(Grouped Differential Attention, GDA)' 기술을 자체적으로 개발해 적용했다. 이는 단순히 모델을 바닥부터 학습시키는 '프롬 스크래치(From Scratch)'를 넘어, 지능 핵심인 어텐션 함수와 모델 아키텍처 자체를 새롭게 설계한 것이라고 회사 측은 강조했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>