컨텐츠 바로가기

03.29 (금)

최초의 한국어 AI 엑소브레인 개발자, 차세대 초거대 AI를 말하다

댓글 첫 댓글을 작성해보세요
주소복사가 완료되었습니다
AI타임스

ETRI 임준호 책임연구원(사진=행사 캡처)

<이미지를 클릭하시면 크게 보실 수 있습니다>


ETRI 임준호 책임연구원(사진=행사 캡처)국내 최초 한국어 인공지능(AI) 엑소브레인을 만든 ETRI 임준호 책임연구원이 다음 세대 초거대 AI 언어모델의 모습을 제시했다. 사람들의 '똑똑한 판단'을 돕는 AI가 주인공이다.

인간 사용자가 궁금한 것에 대해 질문을 하면 AI가 관련해서 공신력있는 정보를 요약 제시하는 식이다. 단순히 답만을 제시하는 현재 시스템보다 훨씬 진보된 형태다.

ETRI 임준호 책임연구원은 21일 열린 과기정통부 '글로벌 인공지능 포럼'에서 GPT-3 이후 초거대 AI 언어모델 연구의 최신 동향과 향후 방향에 대해 발표했다.

이날 발표에서 임 연구원은 "사람들이 보다 똑똑하게 판단하는데 언어 AI 기술을 활용할 수 있다. AI가 부동산 세무 상담을 한다고 가정하면, 개인 사용자의 상황에 적용되는 국토부, 법령정보센터 내 규정을 찾아 내용 정리한 결과를 제공할 수 있는 것"이라며 다음 세대 현실화될 초거대 AI 언어모델 모습을 설명했다.

그러면서 "스탠퍼드 AI 100 보고서에서도 2021년 현 시점 가장 유망한 AI 분야로 사람을 지원(augment)하는 기술을 꼽았다"고 강조했다.

AI타임스

임준호 연구원이 제시하는 차세대 AI 언어모델 모습(사진=행사 캡처)

<이미지를 클릭하시면 크게 보실 수 있습니다>


임준호 연구원이 제시하는 차세대 AI 언어모델 모습(사진=행사 캡처)이와 같은 기술을 현실화하기 위해서는 크게 3가지 과제를 해결해야 한다는 주장이다. ▲진보된 메모리 매커니즘 ▲결과에 대한 설명가능성과 조정가능성 ▲동일한 개념 인식이 그것.

진보된 메모리 매커니즘이 필요한 이유에 대해 임준호 연구원은 "실세계 변화를 반영할 수 있고 필요한 정보를 적시에 찾아올 수 있어야 한다. 기존 기술로는 필요한 지식을 다 검색해서 입력값으로 일일이 넣어야 하는 한계가 있다"고 설명했다. 언어모델 크기가 클수록 입력 지식 반영이 되기 어렵다는 문제도 있다.

개선 방법으로 그는 "실제 언어모델이 입력을 가지고 출력을 생성할 때 외부(external) 메모리 밀집한(dense) 형태로 실수값의 벡터로 있고, 언어모델 내 그 메모리를 참조하는 레이어가 정확한 값을 찾아와서 그 값을 참고해서 아웃풋으로 출력해주는 형태로 간다면 보다 효율적으로 외부 지식 반영이 가능해질 것"이라고 말했다.

이어 "지난주 구글에서 관련 증명 논문이 나왔다. 위키백과를 학습한 110억 파라미터 모델을 외부에 두고 언어모델로는 1억개 파라미터 규모 버트를 사용했을 때 훨씬 큰 규모 언어모델보다 높은 정확도를 보였다는 내용"이라고 전했다.

두 번째 해결 과제는 AI 결과물의 근거를 제시하고 적절하지 않은 내용을 수정하는 일이다.

임준호 연구원은 "와인의 긍정적, 부정적 효과를 알려달라고 요청했을 때 문단 단위로 내용을 요약해 사용자에게 제시할 수 있어야 한다. 특히 실제 서비스를 위해서는 내용에 출처, 근거를 붙여 전달해야 한다"고 말했다.

가치판단 기준을 연구자가 정립 후 올바른 답변을 생성해 질문과 답 내용을 AI 언어모델에 파인 튜닝(fine-tuning)하면 윤리 문제도 수정할 수 있다는 설명이다.

임 연구원은 "한 연구에서 누가 세상에서 가장 아름다운 사람이냐고 물었을 때 기존 GPT-3는 '나이든 남자인데 부인이 없어야 하고 부유해야 한다'고 답변했다. 연구팀이 새로 학습한 모델은 '사람마다 다르다'고 답변했다. 파인 튜닝 지식으로 출력결과를 제어할 수 있다는 의미"라고 전했다.

가장 어려운 과제는 비슷한 문맥을 가지는 각 개념을 AI가 동일하다고 인지하는 일이다. 주변 문맥에 따라 대상 단어를 파악하는 기술 특성을 고려하면 가장 극복하기 어려운 근본 한계점이다.

임준호 연구원은 "백범, 김구, 안두희라는 개념이 서로 비슷한 문맥을 가지면 AI는 3개가 같은지 다른지 알 수 없다. 유사하다는 것만 안다"고 말했다.

AI타임스

아카이브(arXiv) 내 초거대 AI 언어모델 논문 출간 수(사진=행사 캡처)

<이미지를 클릭하시면 크게 보실 수 있습니다>


아카이브(arXiv) 내 초거대 AI 언어모델 논문 출간 수(사진=행사 캡처)한편, 현재 전세계에서 나오는 초거대 AI 언어모델 관련 논문은 한 주당 100편 정도에 이르는 것으로 나타났다. 아카이브(arXiv) 내 논문 통계에 따르면 2015년에는 약 500편, 2020년에는 5500편 이상 초거대 AI 언어모델 논문이 출판됐다는 것.

임준호 연구원은 "전세계 누군가가 항시 가능한 한 모든 방향으로 초거대 AI 언어모델을 연구하고 있다고 볼 수 있다. 모두가 '내가 SOTA(State of The Art)다'라고 외치는 모습이다. 초거대 AI 언어모델 개발 춘추전국시대다"라고 강조했다.

그가 생각하는 언어 AI의 역할은 결국 사람이 보다 적절한 정보를 가지고 잘 소통하도록 돕는 것이다.

임 연구원은 "언어는 사람이 생각하고 의사소통하는 도구다. 즉 언어 AI는 사람이 더 똑똑하게 다른 사람과 잘 소통할 수 있도록 돕는 도구가 되어야 한다"고 전했다.

AI타임스 박성은 기자 sage@aitimes.com

[관련기사]MS-엔비디아, 초거대 AI 'MT-NLG' 공동 개발...규모·정확도 최고 수준

[관련기사]'커져가는 NLP 중요성'... 미 IT 기업, 지난해 비해 NLP 예산 10% 증가

Copyright ⓒ '인공지능 전문미디어' AI타임스 (http://aitimes.com)
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.