"AI 천문학적 전력·비용 문제, 양자역학 기법으로 해결 가능성"

국내기업 하인텔 연구논문…"서버 사용량·학습 시간 줄일 수 있어"

AI (인공지능) (PG) [장현경 제작] 일러스트

(서울=연합뉴스) 노재현 기자 = 생성형 인공지능(AI)의 개발과 운용에 들어가는 막대한 전력과 비용을 줄이기 위한 새로운 알고리즘 접근법이 국내 기업에 의해 제시돼 눈길을 끈다.

인공지능의 핵심 알고리즘을 전문적으로 연구하는 국내기업 하인텔은 지난 9일 국제적인 논문 사전 공개 사이트 아카이브(arxiv.org)를 통해 AI의 그래픽처리장치(GPU) 및 메모리 사용의 효율성을 높여 학습 시간과 전력 사용량을 줄일 수 있는 방법을 담은 논문을 발표했다고 12일 밝혔다.

논문 제목은 '경로적분을 이용해 무한히 긴 문맥을 접어서 응축하는 트랜스포머'(Folded context condensation in Path Integral Framework for infinite context transformers)다.

오픈AI의 챗GPT, 네이버의 하이퍼클로바X 등 모든 생성형 AI는 2017년 구글이 개발한 '주의 기반 트랜스포머'(Attention-based transformer)라는 핵심 기술로 작동한다.

트랜스포머는 문장 속 단어와 같은 데이터 내부의 관계를 추적해 맥락과 의미를 학습하는 신경망 기술을 말한다.

AI 분야에서 획기적 기술이지만 사용자와 챗봇이 대화나 작업을 기억하는 데 한계가 있고 이 한계를 벗어나려면 서버와 학습 시간이 대폭 늘어나는 점이 문제로 꼽힌다.

이에 따라 일정 수준 이상의 챗봇이나 생성형 AI를 만들려면 수천억원에 달하는 고가의 슈퍼컴퓨터는 물론 엄청난 학습 시간과 전력이 필요하다.

대규모 자본력을 갖춘 기업이 아니면 생성형 AI 개발에 나서기가 매우 어려운 게 현실이다.

하인텔은 논문에서 이 문제를 해결하기 위해 주의 기반 트랜스포머를 양자 역학적, 입자 물리학적으로 재해석했다고 설명했다.

복잡한 트랜스포머 동작을 단순한 물리학적 계산법으로 환원시킨 것이다.

생성형 AI에 사용되는 트랜스포머는 입력받은 사건(단어)들로부터 수백억개 매개 변수들로 구성된 계산 단계를 거쳐 다음에 발생할 사건을 예측하는 방식이다.

하인텔은 트랜스포머 동작이 양자역학에서 미세입자가 특정 시점에서 다음 시점의 다른 상태로 넘어갈 때 예측에 사용되는 '파인먼 경로적분'의 미세단계와 거의 같다는 점을 관찰했다고 밝혔다.

파인먼 경로적분은 현대 입자물리학과 양자역학에서 전자와 같은 아주 작은 입자들의 정확한 위치와 운동을 파악할 수 없기 때문에 특정 시점의 상태에서 다음 시점의 상태로 변화할 확률을 계산하는 데 쓰인다.

하인텔은 파인먼 경로적분을 이용하면 다수의 긴 사건정보를 소수의 상태 벡터로 압축할 수 있고 많은 메모리를 쓰지 않고도 과거 기록과 문맥 정보의 손실을 최소화할 수 있다고 주장했다.

그러면서 실제로 이 기법을 사용한 결과, 사건을 12개씩 입력받아 처리하는 작은 트랜스포머도 150개 이상의 사건 내용을 잊지 않는 성과를 확인할 수 있었다고 강조했다.

다만 하인텔은 연구자금 부족 등으로 논문에 대한 대규모 입증 작업을 하지 못했다고 밝혔다.

하인텔 대표이사 권대석 박사는 "이번 연구가 난해한 트랜스포머의 동작에 대해 새로운 이해 방법을 제시한 만큼 구글, 오픈AI등 세계적 AI 기업들과 비교해도 앞선 성과일 가능성이 있다"고 말했다.

김동현 충북대 물리학과 교수는 연합뉴스와 통화에서 하인텔의 논문에 대해 "신선한 분석"이라며 "논문이 제안한 모델이 입증되면 AI 분야에 굉장히 넓게 적용되고 파급력이 클 것 같다"고 말했다.

nojae@yna.co.kr

▶제보는 카카오톡 okjebo
▶연합뉴스 앱 지금 바로 다운받기~
▶네이버 연합뉴스 채널 구독하기
<저작권자(c) 연합뉴스, 무단 전재-재배포, AI 학습 및 활용 금지>