솔라 100B 복제 의혹 제기
김성훈 대표, 하루만에 공개 검증회로 검증 자신
전문가들 “QKV·MoE 핵심 가중치 검증이 관건”
독파모 평가 앞두고 ‘프롬 스크래치’ 입증 주목
김성훈 대표, 하루만에 공개 검증회로 검증 자신
전문가들 “QKV·MoE 핵심 가중치 검증이 관건”
독파모 평가 앞두고 ‘프롬 스크래치’ 입증 주목
[이데일리 윤정훈 기자]업스테이지의 대형언어모델(LLM) ‘솔라 오픈 100B’ 모델이 중국 GLM 모델을 복제했다는 의혹을 둘러싼 공개 검증회가 2일 오후 서울 강남에서 열린다. 새해 첫날 고석현 사이오닉AI 대표의 문제 제기로 촉발된 이번 논란은 정부 주도 ‘독자 AI 파운데이션 모델(독파모)’ 프로젝트 1차 발표에도 영향을 미칠 전망이다.
레이어정규화(LayerNorm) 유사도 검증
사이오닉AI 고석현 대표는 솔라 오픈 100B와 중국 지푸AI GLM-4.5-에어의 레이어정규화(Layer Normalization) 가중치의 유사도가 코사인 0.989(99%)로 거의 동일하다는 점을 핵심 근거로 제시했다. 같은 모델 내부의 다른 레이어 간 유사도가 0.37 수준인 것과 비교하면 이례적으로 높은 수치다.
하지만 업계 일각에서는 레이어정규화 수치만으로 모델 복제를 단정하기 어렵다는 반론이 제기되고 있다.
김성훈 업스테이지 대표가 지난 28일 ‘독파모’ 1차 발표를 하고 있다(사진=정보통신산업진흥원) |
사이오닉AI 고석현 대표는 솔라 오픈 100B와 중국 지푸AI GLM-4.5-에어의 레이어정규화(Layer Normalization) 가중치의 유사도가 코사인 0.989(99%)로 거의 동일하다는 점을 핵심 근거로 제시했다. 같은 모델 내부의 다른 레이어 간 유사도가 0.37 수준인 것과 비교하면 이례적으로 높은 수치다.
하지만 업계 일각에서는 레이어정규화 수치만으로 모델 복제를 단정하기 어렵다는 반론이 제기되고 있다.
레이어정규화는 학습 안정화를 위한 보조 장치로, 아키텍처와 학습 방식이 유사하면 서로 독립적으로 개발된 모델에서도 비슷한 값이 나올 수 있다는 설명이다. 카카오 고현웅 ML 연구원은 솔라, GLM, 파이-3.5-MoE 세 모델의 특정 레이어에서 모두 0.9 이상의 높은 유사도가 관측됐다며 “LayerNorm 유사도만으로는 모델 간 파생 관계를 판단할 수 없다”고 지적했다.
핵심은 QKV 가중치와 구조적 일치성
AI 모델 전문가들은 진짜 확인해야 할 대상은 따로 있다고 입을 모은다.
이승현 포티투마루 부사장은 자신의 SNS에 트랜스포머 구조의 핵심인 Query, Key, Value(QKV) 가중치와 MoE 라우터 파라미터 등을 검증해야 한다고 설명했다.
이들은 모델의 실질적인 연산을 담당하는 핵심 가중치로, 수억 개의 조합이 가능해 우연히 일치할 확률은 사실상 제로에 가깝기 때문이다.
검증 방법론도 중요한 관전 포인트다. 모델 복제 여부를 입증하려면 두 모델의 전체 레이어를 1대1로 매칭한 유사도 히트맵이 필요하다. 만약 실제로 복제가 이뤄졌다면 히트맵에서 선명한 대각선 패턴이 나타나야 한다. 현재까지 공개된 자료에서는 이런 전체 구조적 분석이 제시되지 않았다는 점이 기술적 한계로 지적된다.
업스테이지 솔라 LLM 개발 로드맵(사진=정보통신산업진흥원) |
‘프롬 스크래치’ 입증 가능한가
김성훈 업스테이지 대표는 솔라 100B가 랜덤 가중치에서 시작한 ‘프롬 스크래치’ 학습임을 강조하며 학습 과정의 중간 체크포인트와 웨이츠 앤 바이어시스(W&B) 로그를 공개하겠다고 밝혔다. 이는 학습 초기부터 최종 모델까지의 가중치 변화 과정을 추적할 수 있는 자료로, 독자 개발 여부를 입증하는 가장 직접적인 증거가 될 수 있다.
다만 구조적 유사성 자체는 복제의 증거가 되기 어렵다는 분석도 있다. 현재 LLM 생태계는 메타의 LLaMA 아키텍처가 사실상 표준으로 자리잡았고, vLLM 같은 서빙 툴과의 호환성을 위해서라도 구조를 유사하게 설계하는 것이 일반적이기 때문이다. 실제로 두 모델은 레이어 수도 다르다 솔라는 48개, GLM은 46개로 다르다.
이번 논란은 과기정통부가 1월 중 진행할 독파모 프로젝트 단계 평가와 맞물려 더욱 주목받고 있다. 5개 참여팀 중 4개를 선별하는 평가를 앞두고 의혹이 나오면서 검증 결과가 향후 사업 방향에도 영향을 미칠 전망이다.
