[생성형 AI 붐 시대①] 생성형 AI 산업 대폭발과 그 주변

최근 수년 간 국제전기전자기술자협회(IEEE)는 해마다 ‘AI 인덱스(색인)’를 내놓았고 올해도 이를 발행했다. 올해 보고서는 생성형 AI 붐, 모델 비용 및 ‘책임 있는 AI 사용’ 등을 추적했다. 총 393쪽짜리 보고서는 AI가 지난해 정말 중요한 한 해를 맞이했다는 사실을 보여주는 증거이기도 하다. 미국 스탠퍼드대 인간중심인공지능연구소(HAI)가 발간한 이 보고서는 ‘책임 있는 AI’ 장을 확대했고 ‘과학과 의학 분야의 AI’에 대한 장을 새로이 추가했으며 통상적인 연구개발, 기술적 성과, 경제, 교육, 정책 및 거버넌스, 다양성, 여론 등도 종합해서 다루고 있다. 이 보고서에서는 IEEE스펙트럼이 보도한 생성적 AI의 시각적 표절 문제에 대한 기사가 인용 게재되기도 했다.

IEEE 스펙트럼은 15일(현지시각) 스탠포드대 HAI가 작업한 ‘2024 AI 인덱스’ 보고서를 바탕으로 지난해 지구촌 AI의 현주소를 요약해 보여주는 15개 항목을 선별해 차트와 함께 소개했다.

AI 인덱스 보고서가 보여주는 AI 분야 경쟁 트렌드와 활용 및 과제 등을 포함하는 주목할 만한 15개 지표는 ▲생성형 AI투자 폭발 ▲폐쇄형 모델이 개방형 모델 성능 능가 ▲이미 매우 비싸진 파운데이션 모델 ▲미국이 파운데이션 모델 분야에서 선두 국가로 자리매김 ▲구글이 파운데이션 모델 경쟁 기업 가운데 독주 ▲AI 경쟁에 따른 무거운 탄소 발자국 발생 부작용 ▲AI 개발자들의 인종적 다양성, 일부 진전 ▲포춘 500 기업 조사결과 최소 1개 사업부가 AI 구현 ▲AI를 사용한 기업들의 비용 축소 및 매출 증가 ▲업계가 새로운 AI 박사 학위자들 채용 ▲기업들의 AI리스크 인식 ▲아직까지 인간을 능가하지 못한 AI ▲잇단 AI 책임 규범 개발 ▲법이 AI를 활성화하는 동시에 한편으로 제약 ▲사람들을 불안하게 만드는 AI로 요약된다.

이 보고서 내용은 세계 최강 AI 선진국 미국의 사례를 중심으로 이뤄진 것이다. 그런 만큼 AI 선도국의 미국의 사례는 추격자인 전세계 AI업계와 사용기업들에게 진행 방향을 안내할 지표가 되기에 충분해 보인다. 세계 AI 경쟁과 활용의 현주소와 그 우려감까지 짚어낸 보고서 핵심 내용을 두차례에 걸쳐 살펴본다.

---

[생성형 AI 붐 시대①]생성형 AI 산업 대폭발과 그 주변

[생성형 AI 붐 시대②] 양날의 검 AI···활용 성과 및 리스크

---

생성형 AI 투자 폭발적 증가

ⓒTech42

지난해에는 전반적으로 기업 투자가 감소한 반면 생성형 AI에 대한 투자는 지붕을 뚫고 솟아 올랐다.

올해의 보고서 편집장인 네스토르 마슬레이는 IEEE 스펙트럼에 “전 세계가 챗GPT와 이미지를 생성하는 달리-2(DALL-E 2) 같은 생성형 AI 시스템들의 새로운 능력과 위험에 직면하면서 그 호황은 2023년에 더 광범위한 추세를 보여주었다고 말했다.

그는 “지난해의 이야기는 그것이 정책 안에 있든 여론 안에 있든, 또는 그것이 훨씬 더 많은 투자를 하는 산업 안에 있든 간에 사람들이 [생성형 AI에] 반응하는 것에 관한 것이었다”고 말했다.

이 보고서의 또 다른 차트는 생성형 AI에 대한 민간 투자의 대부분이 미국에서 일어나고 있다는 것을 보여준다.

폐쇄형 모델이 개방형 모델보다 성능이 더 뛰어나다

ⓒTech42

현재 AI에서 뜨거운 논쟁 중 하나는 파운데이션 모델이 개방형이어야 하는지 폐쇄형이어야 하는지에 관한 것인데, 일부는 “개방형 모델이 위험하다”고 열정적으로 주장하고 다른 일부는 “개방형 모델이 혁신을 주도한다”고 주장한다.

AI 인덱스는 그 논쟁에 뛰어들지 않고, 얼마나 많은 개방형 및 폐쇄형 모델이 출시되었는지와 같은 추세를 살펴본다. (여기에 포함되지 않은 다른 차트는 2023년에 출시된 149개의 파운데이션 모델 중 98개가 개방형, 23개가 API를 통해 부분적인 접근을 제공하고 28개가 폐쇄형임을 보여준다.)

위의 차트는 또 다른 측면을 보여준다. 즉, 일반적으로 사용되는 많은 벤치마크에서 폐쇄형 모델이 개방형 모델보다 성능이 뛰어나다. 마슬레이 편집장은 ‘개방형 대 폐쇄형’에 대한 논쟁이 “보통 위험 우려에 초점을 맞추고 있지만, 의미 있는 성과 절충안이 있는지에 대한 논의는 적다”고 말한다

파운데이션 모델의 가격이 매우 비싸졌다

ⓒTech42

산업계가 파운데이션 모델 분야를 지배하고 있는 이유가 바로 여기에 있다. 즉, 거대 모델을 훈련시키는 것은 매우 큰 돈을 필요로 한다. 그러나 정확히 얼마나 깊은 지갑이 필요한가? AI 회사들은 그들의 모델을 훈련시키는 데 관련된 비용을 거의 공개하지 않지만 스탠포드대 인간중심인공지능연구소(HAI)가 펴낸 AI인덱스는 AI 연구 조직인 에포크 AI와 협력함으로써 전형적인 추측을 뛰어 넘었다. (파운데이션 모델이란 자체감독을 사용해 대규모 데이터 세트(광범위한 일반화된 데이터와 레이블이 지정되지 않은 데이터)를 기반으로 훈련된 언어 이해, 텍스트 및 이미지 생성, 자연어 대화와 같은 다양한 일반 작업을 수행할 수 있는 대규모 생성 기계학습(ML)모델을 말한다. 대규모 모델이므로 매개변수가 수십억 개 있을 수 있다.)

이 보고서는 산업계의 거대 AI 모델 훈련 비용 추정치를 내놓기 위해, 에포크 AI 팀이 “출판물, 보도 자료, 그리고 기술 보고서에서 수집한 정보를 사용해 훈련 하드웨어의 유형, 수량 및 활용률을 분석했다”고 설명한다.

흥미로운 점은 구글의 2017년형 트랜스포머 모델이 오늘날의 거의 모든 거대언어모델(LLM)을 뒷받침하는 아키텍처를 도입했다는 것인데, 당시엔 단돈 930달러(약 128만원)에 훈련받았다는 것이다. 하지만 지난해 나온 구글 제미나이 울트라의 훈련 비용은 1억9140만달러(약 2634억원)에 이르렀다.

파운데이션 모델 분야의 선두국가는 미국이다

ⓒTech42

마슬레이는 ‘AI 인덱스’ 편집장은 이 보고서가 이 경주의 승자를 선언하려는 것은 아니라고 말하지만, 그는 미국이 (위에) 출시된 파운데이션 모델의 수, 그리고 상당한 기술적 진보라고 여겨지는 AI 시스템의 수를 포함한 여러 범주에서 선두를 달리고 있다고 지적한다.

그러나 그는 중국이 확보된 AI 특허 수와 산업용 로봇의 설치를 포함해 다른 범주에서 선두를 달리고 있다고 지적한다.

구글, 파운데이션 모델 경쟁 독주중

ⓒTech42

파운데이션 모델은 말하자면 거대한 다목적 모델이다.

예를 들어 오픈AI의 GPT-3와 GPT-4는 챗GPT 사용자들이 코드나 셰익스피어의 소네트를 쓸 수 있게 해 주는 파운데이션 모델이다.

이러한 모델들을 훈련시키는 것은 일반적으로 방대한 자원들을 필요로 하기 때문에 AI 업계는 이제 그것들의 대부분을 만들고 학계는 단지 몇 개만을 내놓는다. 기업들은 최신 기술을 발전시키고 개발자들에게 제품과 서비스를 만들 기반을 제공하기 위해 파운데이션 모델들을 출시한다. 구글은 지난해 파운데이션 모델을 출시했다.

AI경쟁은 무거운 탄소 발자국을 남기고 있다

ⓒTech42

스탠포드대 인간중심인공지능연구소(HAI) AI 인덱스 팀은 또한 특정한 거대언어모델(LLM)들의 탄소발자국을 추정했다. 이 보고서는 모델들 간의 편차가 모델 크기, 데이터 센터 에너지 효율, 그리고 에너지 그리드의 탄소 집약도(킬로와트시(kWh)의 전기를 생산하기 위해 몇 그램의 이산화탄소(CO₂)가 방출되는지의 척도)를 포함한 요인들 때문이라고 주목한다. 이 보고서의 다른 도표는 (여기에 포함되지 않은) 추론과 관련된 이산화탄소 배출량에 대한 첫 추정치를 보여주며, 이 주제에 대해 더 많은 정보를 공개할 것을 요구한다.

이 보고서가 언급하고 있듯이 “추론시 쿼리당 이산화탄소 배출은 상대적으로 적을 수 있지만 모델들이 매일 수백만 회는 아니더라도 수천 회씩 질문을 받을 때의 총 이산화탄소 배출량의 영향은 훈련시 영향을 능가할 수 있다”는 점이 주목을 끈다.

AI 개발자 다양성에서 일부 진전

ⓒTech42

지난해에 AI분야의 선두인 미국에서는 AI 개발자 다양성 부문에서 일부 진전을 보인 것으로 나타났다.

수년 동안 AI 개발자 가운데에서 백인과 남성이 아닌 사람의 비중을 늘리는 데 거의 진전이 없었다. 그러나 올해의 보고서는 몇 가지 희망적 신호를 제공한다. 예를 들어 AP 컴퓨터 과학 시험을 보는 비백인과 여성 학생의 수가 증가하고 있다. (AP(Advanced Placement) 컴퓨터 과학은 고등학생들에게 대학 수준의 컴퓨터 과학 학점을 취득할 수 있는 기회로 제공하는 AP 컴퓨터 과학 과정이자 시험이다.)

위의 그래프는 민족성에 대한 경향을 보여주는 반면 여기에 포함되지 않은 또 다른 그래프는 시험을 보는 학생의 30%가 현재 여학생임을 보여준다.

이 보고서의 또 다른 그래프는 컴퓨터과학(CS) 학사 학위를 취득한 여성의 수가 지난 5년 동안 거의 꿈쩍도 하지 않았지만 학부 수준에서 CS 학사 학위를 취득한 북미 학생들 사이에 인종적 다양성이 증가하는 긍정적 추세도 있었음을 보여준다.

마슬레이 2024 AI인덱스 편집장은 “여기서 아직 해야 할 일이 많다는 것을 아는 것이 중요하다”고 말한다.

이재구 기자

저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지