대규모 언어 모델의 정의 그리고 생성형 AI와의 관계

2022년 11월 등장한 챗GPT(ChatGPT)는 기업과 소비자가 작업 자동화와 창의적인 아이디어 지원, 심지어 소프트웨어 코딩에까지 생성형 AI을 활용할 수 있다는 개념을 주류로 만들었다.

오픈AI가 만든 챗GPT나 구글 바드(Bard)로는 이메일이나 계속 이어지는 대화를 간단히 요약할 때 활용할 수 있다. 이력서를 더 유창한 언어와 인상적인 핵심 포인트로 멋있게 만들어야 할 때도 AI가 도와준다. 새로운 마케팅 또는 광고 캠페인에 쓸 아이디어를 원하면 생성형 AI가 구해 줄 것이다.

챗GPT는 ‘챗봇 생성형 사전 학습 변환기’의 약자다. 챗봇의 기반은 GPT 대규모언어모델(LLM)이다. 일종의 컴퓨터 알고리즘인 LLM은 자연어 입력 내용을 처리하고 이미 나온 것을 기반으로 다음 단어를 예측한다. 그 후에는 그 다음 단어를 예측하고 또 그 다음 단어를 예측하여 결국 답변을 완성한다.

가장 간단하게 말하면 LLM은 다음에 나올 단어를 예측하는 엔진이다.

ⓒ Getty Images Bank

오픈AI의 GPT-3 및 4 LLM과 더불어 인기 있는 LLM으로는 구글의 LaMDA와 PaLM LLM(바드의 기반), 허깅 페이스(Hugging Face)의 BLOOM 및 XLM-RoBERTa, 엔비디아의 NeMO LLM, XLNet, Co:here, GLM-130B 등과 같은 오픈 모델이 있다.

특히, 오픈소스 LLM은 더 많은 맞춤 설정이 가능한 모델을 더 저렴한 비용으로 개발할 수 있어 호응을 얻고 있다. 2월 메타의 LLaMA(대규모언어모델 메타 AI) 출시를 계기로 오픈소스 LLM을 바탕으로 한 개발 활동이 폭발적으로 늘어났다.

LLM은 일종의 AI로서 자연어 질문에 사람처럼 대답하기 위해 현재 대량의 기사, 위키피디아 항목, 책, 인터넷 기반 자료, 기타 입력물을 학습 중이다. 정말 엄청난 분량의 데이터다. 그러나 업체는 구체적인 용도에 따라 LLM의 맞춤 설정을 모색 중이며 이러한 용도에는 오늘날 가장 인기 있는 모델이 사용하는 대량의 데이터 집합이 필요 없기 때문에 LLM의 규모는 커지지 않고 오히려 축소될 전망이다.

예를 들어, 한 보도에 따르면, 올해 초 발표된 구글의 새로운 PaLM 2 LLM은 불과 1년 전의 직전 모델에 비해 거의 5배 많은 3조 6천억 개의 토큰(단어열)을 학습 데이터로 사용한다. 이렇게 데이터집합이 늘어난 덕분에 PaLM 2는 더 고급 수준의 코딩, 수학, 문예 창작 작업을 수행할 수 있다.

그래서 LLM이란 과연 무엇인가?

ⓒ Getty Images Bank

LLM은 데이터 입출력 집합을 통해 학습된 머신러닝 신경 네트워크다. 텍스트는 미분류 상태이며 모델은 자기지도 또는 준 지도학습 방법론을 사용할 때가 잦다. 정보나 콘텐츠가 LLM에 입력되면 알고리즘이 예측한 다음 단어가 출력된다. 입력물은 자산화 된 기업 데이터이거나, 챗GPT의 경우에는 인터넷에서 직접 긁어와 제공되는 모든 데이터가 될 수 있다.

LLM이 적합한 데이터를 사용하도록 학습시키려면 수퍼컴퓨터 역할을 하는 거대한 고가의 서버 팜을 사용해야 한다.

LLM은 수백만 개, 수십억 개, 심지어 수조 개의 매개변수에 의해 제어된다. (매개변수는 다양한 답변 중 선택하도록 LLM을 돕는 것이라고 생각하면 된다.) 오픈AI의 GPT-3 LLM은 매개변수가 1,750억 개이며 최신 모델인 GPT-4는 매개변수가 1조 개로 알려져 있다.

가령, LLM 프롬프트 창에 “오늘 점심으로 내가 먹은 것은…”을 입력하면 LLM은 “시리얼” 또는 “밥” 또는 “스테이크 타르타르”라는 단어를 제시한다. 100% 정답은 없지만 모델에 이미 입력된 데이터에 기반한 확률은 있다. LLM은 기존 데이터를 기반으로 가장 개연성 있는 답인 “시리얼”로 문장을 완성할 수 있다. 그러나 LLM은 확률 엔진이기 때문에 가능한 답변마다 백분율을 지정한다. 시리얼은 50%의 확률로 발생하고 “밥”은 20%의 확률로 답이 될 수 있으며 스테이크 타르타르가 답일 확률은 0.005%이다.

머신러닝, 자연어 처리, 딥 러닝을 연구하는 MIT 조교수 윤 킴은 “LLM은 이 작업을 위해 학습한다는 사실이 핵심이다. 인간과는 다르다. 충분히 큰 학습 집합을 통해 확률이 지정된다"라고 설명했다.

단, 유의할 점은 쓰레기를 넣으면 쓰레기가 나오다는 사실이다. 즉, LLM이 받아들인 정보가 편향되고 불완전하고 바람직하지 못하다면 LLM의 응답도 마찬가지로 믿을 수 없고 기이하며 심지어 불쾌할 수도 있다. 응답이 정상 궤도를 벗어나면 심하게 동떨어질 수도 있기 때문에 데이터 애널리스트는 환각으로 표현한다.

AI를 활용하여 소프트웨어 엔지니어의 구인, 채용, 입사 후 적응 교육을 원격으로 진행하는 미국 업체 튜링(Turing)의 CEO 조나단 싯다르스는 “환각이 발생하는 이유는 가장 기본적인 형태의 LLM는 내부적으로 세계가 표현되지 않기 때문이다. 사실이라는 개념이 없다. LLM은 지금까지 본 것을 기준으로 다음 단어를 통계적으로 추정해 예측한다”라고 설명했다.

일부 LLM은 인터넷 기반 데이터를 스스로 학습도 하기 때문에 최초의 개발 목적을 훨씬 뛰어 넘을 수 있다. 예를 들어, 마이크로소프트의 빙은 GPT-3을 기반으로 사용하지만 검색 엔진에 질의하여 처음 나오는 약 20개의 결과를 분석하기도 한다. LLM과 인터넷을 둘 다 사용하여 응답을 제시한다.

싯다르스는 “어떤 모델은 하나의 프로그래밍 언어를 학습한 후 본 적이 없는 다른 프로그래밍 언어로 코드를 자동 생성한다. 심지어 자연어도 마찬가지다. 프랑스어 학습을 하지 않아도 프랑스어로 문장을 생성할 수 있다"라고 말했다.

싯다르스는 “마치 급격히 출현한 행동이 있는 것 같다. 이런 신경 네트워크가 어떻게 작동하는지 잘 모른다. 무서운 동시에 흥미진진하다"라고 덧붙였다.
LLM과 매개변수의 또 다른 문제는 LLM 개발자와 인터넷에서의 자기 지도 데이터 수집에 의해 의도치 않은 편향이 생길 수 있다는 점이다.

LLM 편향은 존재하는가?

ⓒ Getty Images Bank

프린스턴 대학교 정보기술정책센터 박사 과정에 재학 중인 사바시 카푸어에 따르면, 예를 들어 챗GPT와 같은 시스템은 인터넷과 프로그래머를 통해 주입된 데이터를 기반으로 성별 편향적인 답변을 제시할 가능성이 매우 높았다.

카푸어는 “성별이 분명히 언급되지 않고 대명사 관련 정보로만 포함된 암시적인 편향에 대해 챗GPT를 테스트했다. 문장 내의 단어 “그녀”를 “그”로 대체하면 챗GPT가 실수할 확률이 3분의 1로 줄어든다"라고 말했다. 카푸어는 언어모델이 중대한 실제 상황에서 사용된다면 선천적인 편향은 위험할 수 있다고 지적했다. 예를 들어, 편향된 언어 모델이 채용 과정에 사용된다면 실제 성별 편향으로 이어질 수 있다.

이러한 현상은 개발자가 의도적으로 모델을 편향하도록 프로그래밍해서 생긴 것이 아니다. 그러나 카푸어는 AI 모델을 공개하고 AI 모델로 수익을 얻는 주체는 개발자이므로 궁극적으로 편향을 시정할 책임 역시 개발자에게 있다고 주장했다.

프롬프트 엔지니어링은 무엇인가?

오픈AI의 GPT-4 같은 대부분의 LLM은 사전에 먼저 대량의 정보를 채워놓지만, 사용자에 의한 프롬프트 엔지니어링으로도 특정 업계나 심지어 기업의 용도에 맞게 모델을 학습할 수 있다.
MIT의 킴은 “프롬프트 엔지니어링의 목적은 우리가 원하는 말을 이끌어내기 위해 이 알고리즘에 무엇을 제공할지 결정하는 것이다. LLM은 아무런 맥락도 없이 그저 지껄이는 시스템이다. 어떤 의미로 LLM은 이미 챗봇이다”라고 말했다.

프롬프트 엔지니어링은 LLM이 원하는 결과를 달성하도록 텍스트 프롬프트를 공들여 작성하고 최적화하는 과정이다. LLM를 개발하고 호스팅하는 커뮤니티 주도 플랫폼 허깅 페이스의 머신러닝 엔지니어 에노 레이예스는 어쩌면 프롬프트 엔지니어링은 사용자에게 중요한 만큼, IT와 기업 전문에게도 필수 기술이 될 것이라고 전망한다. 프롬프트 엔지니어는 비즈니스 용도에 맞게 맞춤 설정된 LLM 개발을 담당하게 될 것이다.

프롬프트 엔지니어링은 최근에 생긴 초기 단계 기술이기 때문에 기업은 AI 애플리케이션의 최적화된 반응을 보장할 수단으로 책자와 프롬프트 가이드에 의존하고 있다. 심지어는 최고의 챗GPT용 프롬프트 100가지와 같은 프롬프트 시장도 생겨나고 있다.

LLM은 어떻게 더 작아지고, 빨라지고, 저렴해질 것인가?

오늘날, LLM 기반 챗봇이 가장 흔히 사용되는 방식은 텍스트 기반의 웹 채팅 인터페이스로서 '기본 설정 그대로' 사용되는 것이다. LLM 기반 챗봇은 구글의 바드와 마이크로소프트의 빙(챗GPT 기반) 같은 검색 엔진에서, 그리고 자동화된 온라인 고객 지원에 사용된다. 기업은 자체 데이터 집합을 입력하여 챗봇을 특정 비즈니스 용도로 좀 더 맞춤 설정할 수 있지만 이미 입력된 대량의 데이터 때문에 정확성이 떨어질 가능성이 있다.

허깅 페이스 공동 창업자 겸 CSO 토마스 울프는 이 달 초 MIT 컨퍼러스에 참석하여 “소규모 모델을 더 많은 데이터로 더 오래 학습시키면 과거에 대규모 모델이 수행하던 작업을 할 수 있다는 사실이 거듭 확인되고 있다. 소규모 모델에서 일어나는 현상에 대한 이해도 발전하고 있다고 생각한다”라고 말했다.

울프는 “첫 단계에서는 뭔가의 처음 부분을 작동시키기 위해 모든 것을 시도하고 그 다음 단계에서는 효율성을 높이고 실행 비용을 줄이기 위해 노력한다. 단순히 전체 웹을 철저히 조사하는 것은 누구나 하고 있어서 그것만으로는 부족하다. 품질 좋은 데이터를 가져오는 것이 훨씬 더 중요하다”라고 덧붙였다.

크기와 목적에 따라 특정 사용 사례에 대한 LLM 학습 비용은 수백만 달러에서 천만 달러까지 들 수 있다.

ⓒ Getty Images Bank

그러나 LLM의 AI 및 컴퓨팅 성능을 소규모 데이터집합에 집중하면 막대한 비정형 데이터집합에 의존하는 거대한 LLM 이상의 성능을 발휘한다. 또 사용자가 찾는 콘텐츠를 더욱 정확하게 생성할 수도 있고 학습 비용도 훨씬 더 저렴하다.

마이크로소프트 AI 플랫폼 담당 기업 VP 에릭 보이드는 최근 MIT 엠테크(EmTech) 컨퍼런스에 연사로 나서 4년전 마이크로소프트가 오픈AI와 함께 처음 AI 이미지 모델 작업을 시작했을 때는 데이터집합의 크기가 커지면 성능이 정체되곤 했다고 말했다. 그러나, 언어모델은 용량이 훨씬 더 커서 성능 저하 없이 데이터를 받아들일 수 있다.

오픈AI와 챗GPT에 가장 많은 자금을 지원하는 마이크로소프트는 더 큰 LLM을 구축할 인프라에 투자했다. 보이드는 “따라서 이제는 그처럼 큰 모델이 없어도 유사한 성능을 얻는 방법을 알아내고 있다. 데이터와 컴퓨팅 및 학습 시간이 더 많으면 여전히 성능을 늘릴 수 있지만, 그렇게 크게 만들 필요가 없고 더욱 효율적으로 관리할 수 있는 기법도 많아서 현재 학습 중이다”라고 말했다.

보이드는 “그 점이 대단히 중요한 이유는…이런 모델이 매우 비싸기 때문이다. 더 많이 도입되게 하려면 학습 비용과 제공 비용을 둘 다 줄일 방법을 알아 내야 한다”라고 덧붙였다.

예를 들어, 사용자가 프롬프트를 제출하면 GPT-3는 답변을 제공하기 위해 1,750억 개의 매개변수에 모두 접근해야 한다. 보이드는 희소 전문 모델이라는 더 작은 LLM 모델의 개발 방법은 LLM의 학습 및 연산 비용을 줄일 것으로 예상되며 “그 결과, 밀집 모델에 비해 정확도가 높은 거대한 모델이 생성될 것”이라고 말했다.

메타 플랫폼(구 페이스북) 연구진은 희소 전문 모델이 '컴퓨팅 중 일부'만 사용하여 챗GPT를 비롯한 거대 LLM과 비슷한 성능을 달성할 수 있다고 믿고 있다.

메타는 2022년 10월 연구 논문에서 “컴퓨팅 예산이 비교적 보통 수준인 모델의 경우, 희소 모델은 컴퓨팅 수요가 거의 4배에 이르는 밀집 모델과 대등한 수준으로 성능을 발휘할 수 있다"라고 밝혔다.

이미 알레프 알파(Aleph Alpha), 데이터브릭스(Databricks), 픽시(Fixie), 라이트온(LightOn), 스태빌리티 AI(Stability AI), 심지어 오픈AI와 같은 기업은 더 작은 모델을 공개하고 있다. 더욱 민첩한 LLM은 수십억 개에서 1천억 개 정도의 매개변수가 있다.

여전히 산적한 개인정보보호와 보안 문제

사이버보안 업체 서프샤크(Surfshark)의 개인정보보호 자문 담당 가브리엘레 카베크키테에 따르면, LLM 기반 챗봇의 놀랄 만한 기능에 경탄하는 사용자는 많지만, 정부와 개인이 그 안에 숨어 있는 잠재적인 개인정보보호 문제를 도외시해서는 안 된다.

예를 들어, 올해 초 이탈리아는 서양 국가로서는 최초로 개인정보보호 관련 우려를 이유로 챗GPT의 추가 개발을 금지했다. 이 결정은 이후 뒤집혔지만 최초 금지 조치는 자연어 처리 앱이 사용자 대화나 결제 정보와 관련된 데이터 유출을 겪은 후 나온 것이라 의미가 크다.

카베크키테는 “이탈리아의 일시적 금지 조치 이후 챗GPT에서 일부 개선 사항이 있었지만 아직 더 나아질 여지가 있다. 개인정보보호 문제를 해결하는 것은 책임 있고 윤리적인 데이터 사용과 신뢰 조성, 그리고 AI 상호작용 시 사용자 개인정보의 안전한 보호를 보장함에 있어 필수적"이라고 강조했다.

카베크키테는 예를 들어 챗GPT의 데이터 수집 관행을 분석한 후, 챗GPT가 모델을 학습시킬 목적으로 대량의 개인정보를 수집했으나 정당한 법적 근거가 없는 것, AI 모델 학습에 사용된 데이터의 주인 전원에게 통보하지 않은 것, 항상 정확하지는 않은 것, 13세 미만 아동의 사용을 방지하는 효과적인 연령 검증 도구가 부족한 것 등 잠재적인 결함을 찾아냈다.

다른 전문가도 그 외에 AI가 수집하고 저장한 데이터의 보안 문제, 지적 재산 도용 문제, 데이터 기밀성 문제 등 LLM이 아직 극복하지 못한 좀 더 기본적인 문제를 우려한다.

튜링의 싯다르스는 “병원이나 은행이 LLM을 사용할 수 있으려면 지적 재산, 보안, 기밀성 문제를 해결해야 한다. 좋은 엔지니어링 솔루션이 있으니 해결될 것이라고 생각하지만, LLM이 기업에서 사용되려면 이런 문제가 먼저 해결되어야 한다. 기업은 LLM이 자사 데이터를 써서 경쟁업체에 더 나은 결과를 제공하는 상황을 원하지 않는다”라고 말했다.

당연하게도 전 세계 여러 국가와 정부 기관은 AI 도구에 대처하기 위해 노력하기 시작했으며, 그 중에서 중국이 현재까지 가장 적극적으로 주도하고 있다. 각국의 AI 관련 정책과 노력을 소개하면 다음과 같다.

• 중국은 이미 AI 거버넌스를 위한 다수의 이니셔티브를 실행했다. 단, 이들 이니셔티브는 대부분 시민 개인정보보호와 관련되며 반드시 안전과 관련되지는 않는다.
• 미국 바이든 행정부는 책임 있는 혁신을 추진하기 위해 예전의 노력을 바탕으로 안전과 개인정보보호에 대처하기 위한 AI 규정을 발표했다. 그러나 현재까지 미국 의회는 AI를 규제하는 어떤 법도 통과시키지 않았다. 바이든 행정부는 2022년 10월, “AI 권리 장전”을 위한 청사진과 AI 위험 관리 프레임워크를 발표했으며 더 최근에는 ‘국가 AI 연구 자원’을 추진했다.
• 최근에 선진 7개국 그룹(G7)은 AI의 발전 속도가 안전과 보안을 위한 관리 감독 속도보다 빠르다고 언급하면서 AI를 통제하기 위한 기술적인 표준의 마련을 촉구했다.
• 유럽연합(EU)은 익명의 출처에서 생성한 콘텐츠를 활용할 수 있는 챗GPT와 같은 생성형 AI 플랫폼을 개발하는 기업에 책임을 물을 수 있는 입법을 마무리하고 있다.

editor@itworld.co.kr

Lucas Mearian editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지