[스마트클라우드쇼 2024] 아니메쉬 가그 조지아공대 교수 “로봇-인간 상호작용하려면 새 학습 방법 필요… 일반세계모델 주목하라”

아니메쉬 가그(Animesh Garg) 조지아공대 교수가 5일 서울 소공동 웨스틴조선호텔에서 열린 ‘스마트클라우드쇼 2024'에서 '생성형 AI로 일반화된 로봇 공학(Generalizable Robotics with Generative AI)'이라는 주제로 기조강연을 하고 있다./조선비즈

“다양한 동작을 인간 수준에서 수행할 수 있는 범용 인공지능(AI) 로보틱스를 구현하려면 새로운 데이터와 새로운 학습 방법이 필요합니다. 어떻게 데이터가 생성되고, 수집되는지, 이를 어떻게 큐레이션할 것인지 생각해야 하는데, 일반세계모델(General world models)을 통해 가능해질 것입니다.”

아니메쉬 가그(Animesh Garg) 미국 조지아공대 교수는 5일 서울 소공동 웨스틴조선호텔에서 열린 ‘스마트클라우드쇼 2024′에서 ‘생성형 AI로 일반화된 로봇 공학(Generalizable Robotics with Generative AI)’이라는 주제로 기조강연에 나서 이같이 말했다. 일반세계모델은 거대언어모델(LLM), 멀티모달에 이어 AI 개발의 다음 단계로 일컫는 것으로, AI가 일반세계의 물리적 법칙을 이해하도록 학습을 시킨다는 개념이다. 이를 통해 훨씬 효율적이고 뛰어난 성능의 AI를 만들 수 있다는 것이 업계의 시각이다.

가그 교수는 “범용 AI 로봇을 만들려면 구체적으로 무엇을, 어떻게 해야하는지 기억하도록 하는 게 아니라 어떻게 전 세계가 작동하는 지를 학습하게 하는 것이 중요하다”며 “로봇이 인간과 상호작용하게 하는 환경을 만들고 일반세계모델을 만들면 추론을 통해 로봇 스스로 어떤 일이 벌어질지 학습하게 되고 다양한 동작을 할 수 있게 된다”고 말했다. 그렇게 되면 여러 종류의 추론을 스스로 학습하게 되고, 특정한 행동을 학습시키는 것보다 효과가 좋을 수 있다는 것이다.

예컨대 손으로 물병 뚜껑을 열 때 한 손으로는 물병을 잡아야 하고 다른 한 손으로는 뚜껑을 잡고 돌려야 한다. 로봇에게 이 동작을 사진이나 영상으로 학습시킬 수도 있지만, 사진·영상만으로는 동작을 관찰하는 것에 그치고 뚜껑을 여는데 얼마나 힘이 들어가는지는 알 수 없다. 만약 이 과정에서 거대언어모델(LLM)을 활용할 경우에는 환각 현상이 생길 수도 있다는 문제점이 있다. 물병이 아닌 바나나나 사과 등 다른 물체로 인식할 수도 있다는 것이다. 이 때문에 일반세계모델이 중요하다는 것이 가그 교수의 설명이다.

가그 교수는 로봇 스스로 학습하게 하기 위해 차별화된 시뮬레이션 모델을 만들었다고 했다. 그는 “범용 로봇이 병원이든 공장에서든 다양한 일을 할 수 있게 하려면 여러가지 문제점을 해결해야 하는데, 로봇 관련 데이터는 웹사이트나 유튜브에 존재하지 않아 데이터를 만들어줘야 한다”며 “1년 동안 1000개의 로봇이 데이터를 수집해야 하고 1억5000만달러 정도의 비용이 드는데, 문제는 이렇게 한다고 해도 실제로 데이터가 충분할 지 보장이 안된다는 것”이라고 했다.

그러면서 “이를 해결하기 위해 시뮬레이션 모델을 만들었고 범용 시스템을 구축해 실제로 병원에서도 수술용으로도 사용할 수 있게 됐다”며 “이는 애플리케이션이 아니라 애플리케이션의 첫 단계이며, 시뮬레이션은 데이터 수집의 한 단계다. 실제 데이터와 함께 시뮬레이션으로부터 데이터 수집을 하면 확장성이 늘어날 것”이라고 덧붙였다.

변지희 기자(zhee@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>