1X, 로봇 훈련을 위한 '세계 모델' 출시..."로봇 행동에 맞춰 변하는 현실 예측"

[박찬 기자]

로봇 스타트업 1X 테크놀로지가 로봇 시스템을 시뮬레이션에서 효율적으로 훈련할 수 있는 새로운 생성 모델을 개발했다. 이를 통해 로봇의 행동에 반응해 현실 세계가 어떻게 변하는지 예측할 수 있는 '세계 모델(World Model)'을 훈련하는 중요한 과제를 해결할 수 있다는 설명이다.

벤처비트는 19일(현지시간) 1X가 로봇에서 직접 수집한 원시 센서 데이터를 기반으로 실제 세계를 시뮬레이션하는 방법을 학습하는 새로운 모델을 개발했다고 보도했다.

로봇 공학자들은 일반적으로 로봇을 실제 세계에 배포하기 전에 로봇의 제어 모델을 훈련하기 위해 시뮬레이션 환경을 사용한다. 이는 로봇을 물리적 환경에서 직접 훈련시키는 데 따르는 비용과 위험 때문이다.

그러나 시뮬레이션과 물리적 환경 간의 차이는 크다. 예를 들어, 인터넷에서 다운로드한 출입문 모델은 로봇을 테스트하는 실제 출입문과 같은 손잡이의 스프링 강도를 가질 가능성이 낮다.

이 격차를 해소하기 위해 1X의 새로운 모델은 로봇에서 직접 수집한 원시 센서 데이터를 기반으로 실제 세계를 시뮬레이션하는 방법을 학습한다. 로봇에서 수집한 수천시간의 비디오와 액추에이터 데이터를 통해 모델은 현재 세계의 관찰을 바탕으로 로봇이 특정 행동을 취했을 때 어떤 일이 일어날지를 예측할 수 있다.

1X는 자사의 '이브(EVE)' 휴머노이드 로봇이 가정과 사무실에서 다양한 이동 조작 작업을 수행하고 사람들과 상호작용하는 과정에서 데이터를 수집했다.

에릭 장 1X AI 부사장은 "우리는 여러 1X 사무실에서 모든 데이터를 수집했으며, 데이터 주석 및 필터링을 도와주는 안드로이드 오퍼레이터 팀이 있다"라며 "실제 데이터에서 시뮬레이터를 학습함으로써, 상호작용 데이터의 양이 증가할수록 동역학이 실제 세계와 더 밀접하게 일치할 것"이라고 말했다.

이런 방식으로 학습한 세계 모델은 물체 상호작용을 시뮬레이션하는 데 특히 유용하다.

예를 들어, 모델은 로봇이 물체를 잡는 장면의 비디오 시퀀스를 예측할 수 있다. 또 물체 낙하의 효과, 커튼, 세탁물 등 변형 가능한 물체, 문, 서랍, 커튼, 의자 등 관절이 있는 물체와 같은 물체 상호작용도 예측할 수 있다. 모델이 셔츠를 접는 것과 같은 복잡한 작업을 시뮬레이션할 수도 있다.

오픈AI의 '소라'나 런웨이의 '젠-3 알파' 모델이 텍스트에서 비디오를 생성하도록 설계된 반면, 1X의 새로운 모델은 생성 단계에서 행동에 반응할 수 있는 생성 시스템이다. 구글 연구진이 최근 '둠(DOOM)' 게임을 시뮬레이션할 수 있는 생성 모델을 훈련하는 데 사용한 기술과 유사하다.

그러나 이 모델은 명시적으로 정의된 세계 시뮬레이터에 의해 구동되지 않기 때문에 때때로 비현실적인 상황을 생성할 수 있다. 물체가 공중에 매달려 있을 때 떨어질 것이라는 예측을 하지 못하는 경우도 있고, 물체가 한 프레임에서 다른 프레임으로 사라지기도 한다. 이를 해결하는 방법은 데이터를 계속 수집하고 더 나은 모델을 훈련하는 것이다.

장 부사장은 "우리는 세계 모델링과 비디오 생성에 대한 여러 가지 방법을 적극적으로 조사하고 있다"라고 말했다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>