구글, LLM 컨텍스트 창 길이 무한 확장하는 기술 공개

[AI리포터]

LLM [사진: 셔터스톡]

[디지털투데이 AI리포터] 구글 연구팀이 거대언어모델(LLM)에 무한한 길이의 텍스트를 처리할 수 있는 '인피니-어텐션'(Infini-attention) 기술에 관한 논문을 발표했다.

15일(현지시간) 온라인 매체 기가진에 따르면 인피니 어텐션은 일반적인 어텐션 메커니즘(입력 정보 병렬로 처리)에 압축 메모리를 통합한다. 이는 계산 효율성을 위해 입력이 컨텍스트 길이를 초과하면 모델이 압축 메모리에 이전 어텐션 상태를 저장하는 방식이다.

구글에 따르면 인피니 어텐션을 적용한 LLM은 별도의 메모리 추가 없이도 약 100만개 이상의 토큰 품질을 유지할 수 있다. 연구팀은 "트랜스포머 아키텍처의 어텐션 메커니즘에 대한 미묘하지만 중요한 수정을 통해 기존 LLM을 무한히 긴 컨텍스트로 자연스럽게 확장할 수 있다"라고 설명했다.

인피니 어텐션은 매우 긴 컨텍스트에 대한 모델의 일관성을 측정하는 퍼플렉시티(Perplexity) 벤치마크에서 114배 더 적은 메모리를 사용하고도 다른 긴 컨텍스트 기반 LLM을 능가하는 성능을 기록하기도 했다.

해당 기술은 챗GPT나 제미나이(Gemini) 등 LLM에 사용되는 컨텍스트 창이 커짐에 따라 필요한 메모리와 계산 시간이 급격하게 증가함에 따라 나온 것이란 평가다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>