MS CTO "오픈AI의 스케일링 법칙, AI 발전 이끌 것"

[AI리포터]

마이크로소프트 [사진: 셔터스톡]

[디지털투데이 AI리포터] 케빈 스콧(Kevin Scott) 마이크로소프트(MS) 최고기술책임자(CTO)는 대규모언어모델(LLM)의 '스케일링 법칙'이 AI의 발전을 계속해서 이끌 것이라 주장했다.

15일(현지시간) IT매체 아스테크니카에 따르면 LLM 스케일링 법칙은 2020년 오픈AI 연구원들이 조사한 패턴이다. 모델이 커지고 더 많은 데이터에 의해 학습되고, 더 많은 컴퓨팅 파워에 액세스할 수 있게 됨에 따라 언어 모델의 성능이 예측 가능하게 향상되는 경향이 있음을 말한다.

이 법칙은 근본적인 알고리즘 혁신이 필요하지 않더라도 모델 크기와 학습 데이터를 확장하는 것만으로도 AI 기능을 크게 향상시킬 수 있음을 시사한다.

케빈 스콧은 "다른 사람들이 어떻게 생각하든 우리는 스케일 확장에 따른 한계 수익을 줄이지 않고 있다"고 전했다. 이러한 발언은 AI 커뮤니티의 일부 비평가들 사이에서 LLM의 발전이 GPT-4급 모델을 중심으로 정체됐다는 주장과 대조를 이룬다.

스콧은 향후 반복이 특히 현재 모델이 어려움을 겪는 영역에서 개선을 보여줄 것이라는 확신을 표했다. 그는 "언제가 될지는 말할 수 없고 얼마나 좋을지 정확히 예측할 수는 없지만, 확실히 더 나아질 것"이라며 "우리가 규모를 확장함에 따라 더 복잡한 일이 가능해질 것"이라고 전했다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>