한계 드러낸 딥러닝 인간과 똑같이 생각하는 감각운동AI로 패러다임 전환

최근 실리콘밸리에서 기자와 만난 제프 호킨스 누멘타 창업자 겸 '천개의 뇌' 저자. 실리콘밸리 이덕주 특파원

"지금의 딥러닝은 진짜 지능이 아니다. 인간의 뇌 메커니즘에 기반한 인공지능(AI)이 나와야 한다."

우리가 AI라고 부르는 것은 2010년대부터 본격적으로 주목을 받게 된 '딥러닝(Deep Learning)' 기술에 바탕을 두고 있다. 인공 신경망을 통해 기계가 스스로 학습하게 만드는 이 기술은 세상을 혁명적으로 바꾸고 있다. 하지만 최근 이런 AI 기술의 발전이 한계에 도달했다는 지적이 AI 연구자들의 내·외부에서 함께 나오고 있다. 제프 호킨스는 딥러닝 외부에서 완전히 새로운 AI가 필요하다고 주장하는 대표 인물이다. 그는 1996년 최초로 상업적 성공을 거둔 소형 컴퓨터 '팜 파일럿'을 만든 컴퓨터 공학자이자 창업가이면서, 2021년 '천개의 뇌'라는 뇌과학 서적을 낸 신경과학자이기도 하다. 그는 주어진 데이터 내에서만 학습하는 딥러닝에는 한계가 있으며 우리 뇌처럼 현실 세계와 상호 작용하며 학습해 나가는 '감각운동 AI'가 필요하다고 주장한다.

그가 창업한 스타트업 누멘타는 최근 '천개의 뇌 프로젝트'라는 이름으로 감각운동 AI 구축을 위한 소스코드를 오픈소스로 공개해 누구나 이를 사용할 수 있게 했다. 이런 개방적인 접근을 통해 2050년 이후에는 인간과 같은 지능을 가진 AI가 나올 것이라고 그는 주장했다. 아래는 실리콘밸리 누멘타 본사에서 나눈 그와의 일문일답. 아래는 실리콘밸리 누멘타 본사에서 나눈 일문일답.

-2021년 책을 내고 오픈소스 프로젝트를 시작하는 데 3년이나 걸린 이유는.

▷내 책은 신피질에 대한 연구를 바탕으로 하고 있다. 최근 5~6년간 이 영역에서 우리가 과학적인 돌파구를 만들었고 이를 바탕으로 나온 책이다. 우리는 인간의 뇌를 소프트웨어를 통해 구축할 수 있는지를 연구했고 이것이 가능하다는 결론을 내렸다.

-'천개의 뇌'에 기반한 AI와 인공 신경망을 기반으로 한 딥러닝은 다르다고 했다. 딥러닝은 무엇이 빠져 있나.

▷딥러닝의 신경망은 인간의 신경(뉴런)과 완전히 다르다. 이름만 같은 정도다. 인간의 뇌는 감각을 통해 학습하고 그 감각은 움직일 수 있다. 우리가 눈, 손, 몸을 이 세계 안에서 움직이는 것처럼 말이다. 이를 감각운동 시스템이라고 한다.

-감각운동 시스템을 기반으로 하는 AI에 무슨 장점이 있는가.

▷딥러닝은 방대한 데이터를 학습하고 이는 시간과 돈이 많이 드는 작업이다. 반면 뇌는 다르게 작동한다. 행동을 통해 배우고 아주 효율적으로 움직인다. 에너지가 적게 들고 일반화에 강하며 세계에 대한 지식을 갖고 있다.

-딥러닝은 아카데미와 기업에서 많은 연구가 이뤄지고 있는데, 천개의 뇌 프로젝트는 학술 연구가 적다.

▷우리의 연구는 대부분 신경과학 분야에서 이뤄졌다. 이제 이 연구를 테크놀로지 분야로 가져왔다. 2021년 책을 낸 이후 전 세계에서 많은 관심을 받았다. 이를 연구하는 학계의 사람도 있고, 머신러닝 분야 연구자들도 있다. 그래서 우리가 천개의 뇌 프로젝트를 시작한 것이다. -오픈소스 프로젝트로 무엇을 할 수 있나.

▷우리의 이론에 따라 실행되고 검증된 다양한 코드를 제공한다. 이를 MIT 라이선스로 공개하기 때문에 상업적으로 사용할 수 있다.

-오픈소스 프로젝트가 디지털이 아닌 물리적 세계에서도 진행될 수 있나.

▷실제 세계 동물의 메커니즘은 인간의 메커니즘과 동일하다. 감각운동 AI도 실제 세계의 메커니즘과 같다. 하지만 꼭 물리적인 신체가 있어야 하는 것은 아니다. 팔다리나 눈이 꼭 있어야 하는 것도 아니다. 카메라 같은 센서도 가능하며 인터넷 같은 버추얼 환경에서 시스템을 구축할 수도 있다.

중요한 것은 감각이 이동한다는 것이다. 한 웹사이트에서 다른 웹사이트로 가고 인터넷을 이동하는 것이다. 이동이 가능하다면 무엇에 주의를 기울여야 하는지 시스템이 지시할 수 있고, 본질적으로는 동기를 부여하는 시스템이라고 할 수 있다.

스탠퍼드대에서 패널 토론에 참석했을 때 이런 비유를 든 적이 있다. 우리는 컴퓨터에 대해 질문을 할 때 '이것이 무엇인가?'라고 질문하지 않고 '이것이 어떻게 작동하는가?'라고 질문한다. 모든 컴퓨터는 모두 다른 형체를 갖고 있지만 같은 원리 아래에서 움직인다.

천개의 뇌 프로젝트는 기본적으로 기술이다. 이를 간단한 시스템으로 만들 수도 있고, 복잡한 시스템으로 만들 수도 있다. 다양한 종류의 감각과 형체를 가질 수 있다.

-딥러닝이 한계에 도달했다는 얘기가 많다. AI가 세계 모델을 가져야 한다는 얘기도 있다.

▷세계 모델은 많은 사람이 이야기하는 것이다. 딥러닝 연구자들도 세계 모델에 대해 이야기한다. 하지만 딥러닝은 학습 데이터 속 세계 모델만 공부할 수 있다. 실제 세계와의 상호 작용이 없다. 딥러닝 AI는 고양이가 이런 소리를 내고, 부드러운 털을 가지고 있다고 말하지만 소리를 실제로 들어본 적도 털을 만져본 적도 없다. 실제 세계를 보고 만지고 상호 작용하는 시스템이 있으면 세계를 알 수 있다. 감각운동 AI는 실제 세계와 상호 작용한다. 내 앞에 컵이 있으면 이걸 만져보고, 가설에 따라 실험을 해볼 수 있다. 이런 차이점이 딥러닝이 실수를 만드는 이유다. 딥러닝은 학습한 것을 실험해볼 기회가 없다.

-메타의 수석 AI 과학자인 얀 르쾽도 현재 AI의 한계를 지적하고 있다.

▷그가 말하는 것은 내가 이야기하는 것과 유사하다. 현재의 딥러닝은 훌륭하고 유용하다. 하지만 공학계산기 같은 것이지 인간의 지능은 아니다. 진짜 AI는 아직 시작하지 않았고 곧 범용인공지능(AGI)이 만들어진다는 샘 올트먼 오픈AI 창업자의 생각은 틀렸다. 그들의 AI가 무엇이든 할 수 있다고 생각하고 있다.

나는 진짜 AI는 감각운동에 기반해서 만들어질 것이라고 확신한다. 딥러닝은 머신러닝의 일부로 아주 유용하지만 진짜 지능이 되지는 않을 것이다. 점차 사람들이 현재 모델의 한계를 깨닫게 될 것이다. AI 모델은 한 가지가 절대적이지 않다. 트랜스포머 모델 전에는 CNN이 대세였고, 그전에는 강화 학습이 관심을 받았다.

-딥러닝의 인공 신경망은 수학적으로 표현이 가능하다. 감각운동 AI도 가능한가.

▷딥러닝은 수학적으로 보자면 간단하게 역전파(Back Propaganda)로 이해할 수 있다. 하지만 인간의 뇌는 더 복잡하다. 많은 부분이 협력하고 있고 단순한 방정식으로 표시될 수도 없다. 뇌 기능의 일부를 수학적으로 표현할 수 있겠지만 시스템 전체를 수학적으로 표현할 수는 없다. 컴퓨터와 또 비유하자면, 컴퓨터를 수학 공식으로 표현할 수 있나. 불가능하다.

이런 단순함이 딥러닝에 사람들이 끌리는 이유이기도 하다. 딥러닝의 한계는 모든 문제를 이렇게 단순한 문제로 생각하게 만든다는 점이다.

-우리의 뇌는 생물학적 기계이고, AI는 소프트웨어다. 소프트웨어로 생물학적 기계를 모방할 수 없는 것 아닌가.

▷우리의 목표는 뇌 전체를 모방하는 것이 아니다. 뇌의 부피의 75%를 차지하는 신피질을 모방하려는 것이다. 감정과 욕구까지 모방하려는 것이 아니다. 또 뇌의 생리적 움직임을 모방하려는 것이 아니다. 중요한 것은 메커니즘이고 이 원리에 기반한 기계를 만들면 된다.

예를 들어 천개의 뇌 책에 따르면 뇌는 공간 안에서 자신이 어디에 있는지를 계속 파악한다. 이를 위해 우리가 참조 프레임(reference frames)이라고 부르는 것을 한다. 내가 방에서 어디에 있는지, 나와의 관계에서 너가 어디에 있는지, 손가락은 어디 있는지 뇌는 이 모든 것을 다 알아야 한다. 뇌에서 이런 역할을 하는 것은 20년 전에 발견된 격자 세포(grid cell)라는 것이다. 천개의 뇌 프로젝트를 시작할 때 격자 세포를 넣어야 하는지 고민했는데 우리는 넣지 않았다. 공간을 나타낼 수 있는 다른 방법을 쓰면 된다고 생각했다. 그래서 우리는 x·y·z 축이 있는 데카르트 좌표계를 사용한다.

-AI 연구도 경로 의존성을 밟는 것 아닌가. 이미 딥러닝이라는 경로에 들어온 것 아닌가.

▷딥러닝 연구자들이 현재 연구를 포기할 것이라고는 생각하지 않는다. 성과를 내고 있는데 다른 연구를 할 것 같지는 않다. 우리는 우리가 더 중요한 기술을 가지고 있다고 생각하지만 이제 막 시작했다. 그래서 다른 사람들이 우리에 대해 알고 싶고, 가치가 있다고 생각해야 한다. 한국이나 중국을 비롯해 전 세계에 우리에 대해 관심을 갖고 있는 사람들이 있다. 딥러닝 기술이 정점에 도달해 있다고 믿고 다른 방식을 시도해보고 싶어하는 사람들이다. 그런 사람들의 참여를 희망한다. 딥러닝의 한계에 대한 얘기가 나오는 지금이 좋은 시기라고 생각한다. 알고 있겠지만 나는 20년 이상을 뇌와 AI 연구에 바쳐왔다.

[실리콘밸리 이덕주 특파원]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]