[AI리포터]
[디지털투데이 AI리포터] 애플이 AI 기반 텍스트 생성 기술을 대폭 향상시킨 새로운 언어 모델을 개발했다.
14일(현지시간) IT매체 나인투파이브맥은 애플과 오하이오주립대 연구진이 FS-DFM(Few-Step Discrete Flow-Matching) 모델을 통해 기존보다 최대 128배 빠른 장문 생성을 가능하게 했다고 전했다.
기존의 생성형 AI는 자동회귀(autoregressive) 방식으로 작동해, 단어(토큰)를 하나씩 순차적으로 예측하며 문장을 완성한다. 반면 확산(diffusion) 모델은 여러 단어를 병렬로 생성한 뒤, 여러 차례의 반복 과정을 거쳐 점차 완성도 높은 결과를 만들어낸다.
 |
[디지털투데이 AI리포터] 애플이 AI 기반 텍스트 생성 기술을 대폭 향상시킨 새로운 언어 모델을 개발했다.
14일(현지시간) IT매체 나인투파이브맥은 애플과 오하이오주립대 연구진이 FS-DFM(Few-Step Discrete Flow-Matching) 모델을 통해 기존보다 최대 128배 빠른 장문 생성을 가능하게 했다고 전했다.
기존의 생성형 AI는 자동회귀(autoregressive) 방식으로 작동해, 단어(토큰)를 하나씩 순차적으로 예측하며 문장을 완성한다. 반면 확산(diffusion) 모델은 여러 단어를 병렬로 생성한 뒤, 여러 차례의 반복 과정을 거쳐 점차 완성도 높은 결과를 만들어낸다.
FS-DFM은 이 확산 모델의 과정을 단축한 '플로우 매칭'(flow-matching) 접근법을 기반으로, 단 8단계의 짧은 반복(refinement)만으로 기존 천 단계 이상의 확산 모델과 동등한 품질의 결과를 만들어냈다.
성능 평가 결과, FS-DFM은 텍스트 자연스러움을 나타내는 퍼플렉시티(perplexity)와 단어 선택의 일관성을 나타내는 엔트로피(entropy) 두 지표 모두에서 기존 대형 확산 모델보다 우수한 성능을 보였다.
특히 1.7억~17억 파라미터 규모의 FS-DFM 모델이 70억~80억 파라미터를 가진 LLaDA 모델보다 더 낮은 퍼플렉시티와 안정적인 엔트로피를 유지했다.
연구진은 "해당 모델은 장문 생성 속도와 품질을 동시에 향상시킨 새로운 접근법"이라며, 코드와 모델 체크포인트를 공개해 추가 연구와 재현성을 지원할 계획이라고 밝혔다.
<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>
이 기사의 카테고리는 언론사의 분류를 따릅니다.