AI로 수학 난제 증명… 美-英-中 이어 국내서도 첫 연구 나서

KIAS, AI 수학 향상 프로젝트 착수

“AI가 수학의 미래 바꾼다”

글로벌 범용AI 연구 활발

게티이미지코리아

국내 수학자들이 인공지능(AI)을 이용해 수학 난제 증명에 처음으로 도전한다. 미국, 중국, 영국 등 수학과 AI 분야를 선도하는 국가들이 향후 AI가 수학 연구 방법을 완전히 바꿀 것으로 예상하며 막대한 투자를 하고 있는 가운데 국내에서도 AI를 활용한 수학 난제 증명이 처음으로 시도되는 셈이다. AI를 활용한 수학 난제 증명은 인간의 지능과 유사하거나 그 이상의 지능을 갖춘 범용인공지능(AGI)을 구현하는 데 필요한 핵심 기술을 확보하는 데 도움이 된다는 점에서 세계적인 AI 기업들도 앞다퉈 뛰어들고 있다.

● ‘AI로 수학을 향상시키다’ 프로젝트 착수

7일 고등과학원에서 이규환 미국 코네티컷대 수학과 교수(왼쪽)와 오세진 성균관대 수학과 교수가 AI를 이용해 수학 연구를 진행하고 있다. 고등과학원 제공

11일 고등과학원(KIAS)에 따르면 ‘AI기초과학센터 KIAS 스칼라(Scholar)’인 이규환 미국 코네티컷대 수학과 교수가 고등과학원, 성균관대, 연세대 등 국내 수학자들과 함께 AI를 이용해 수학 난제를 풀고 증명하는 법을 연구하는 ‘AI로 수학을 향상시키다(Enhancing mathematics with AI)’ 프로젝트를 시작했다.

이 교수는 “AI로 표현론과 정수론 난제를 푸는 동시에 수학 난제, 수학 이론 등을 AI가 이해할 수 있는 언어인 ‘코드’로 바꾸는 자동화 툴을 개발하고 있다”고 말했다. 2022년 이 교수는 ‘타원곡선’과 관련된 정수론 난제 해결에서 AI로 첫 성과를 내면서 학계의 큰 관심을 끈 바 있다.

수학을 코드화하는 과정은 ‘수학적 사고력’을 갖춘 AI를 만들기 위한 기초 작업이다. 이 교수는 “현재 챗GPT는 외운 수학 증명을 줄줄이 늘어놓는 방식으로 수학 문제를 푼다”면서 “AI가 수학적 사고력을 갖추려면 수학을 AI가 이해할 수 있는 코드로 바꿔 ‘엄밀하게’ 이해시켜야 한다”고 말했다.

고등과학원이 이번 프로젝트를 시작하는 이유는 앞으로 AI가 다방면으로 수학 연구에 도움을 주면서 가까운 미래에 수학이 획기적으로 발전할 것으로 전망되기 때문이다. 먼저 수학 연구 시간을 기하급수적으로 단축할 수 있다. 수학에서 난제 증명은 보통 간단한 명제를 하나씩 증명한 뒤 이들 증명을 잘 조합해 좀 더 고차원적인 문제를 해결하는 과정이다. AI가 간단한 명제 증명에 도움을 주면 수학자들이 높은 수준의 연구에 빠르게 뛰어들 수 있다. 길게는 10년 이상 걸리는 수학 논문 증명 기간을 단축할 수 있다.

난제를 풀 가능성도 높아진다. 프로젝트에 참여하는 황병학 고등과학원 수학부 연구원은 “현대 수학에선 분야마다 사용하는 언어, 기호 등이 다르다”며 “AI에 모든 분야의 수학을 입력하면 종합적으로 사고하게 되면서 한 분야에서는 어려운 난제를 다른 분야의 언어와 기술을 사용해 푸는 혁신적인 사례가 나올 수 있다”고 말했다. 분야를 넘나들며 서로 연결짓는 연구가 이뤄져 지금까지 알 수 없었던 새로운 지식에 도달할 수도 있다는 이야기다.

● AI 연구 열풍… 글로벌 테크기업도 경쟁 합류

새로운 화합물 탐색, 단백질 구조 예측, 의료 영상 판독 등 화학·생명과학·의료 등에 이어 수학에서도 AI 열풍은 예외가 아니다. AI로 고도의 수학 난제를 연구하는 시도는 한국에서는 생소하지만 이미 세계적으로 AI 분야의 거대한 연구주제로 자리 잡고 있다.

올해 3월 미국국립과학재단(NSF)은 ‘AI, 형식적 방법 및 수학적 추론’이라는 이름의 새로운 연구과제를 공고했다. AI로 수학 난제를 풀고 그 방법을 연구하는 과제로 최대 3년간 매년 약 80억 원의 연구비를 준다. 2026년까지 세 차례 같은 과제를 공고할 계획이며 한 차례당 6∼10개 팀을 뽑는다.

영국과학공학연구재단(EPSRC)도 수학 역사상 가장 유명한 정리인 ‘페르마의 마지막 정리’의 증명 내용을 코드화하고 이를 바탕으로 수학 난제를 해결하는 데 AI를 어떻게 활용할지 연구하는 케빈 버자드 영국 임피리얼대 교수에게 올해 약 16억 원의 연구비를 지원했다.

기업도 발빠르게 움직이고 있다. 오픈AI, 구글 딥마인드 등 AI 기업들은 국제수학올림피아드(IMO) 문제를 푸는 AI 모델을 경쟁적으로 개발하고 있다. 중국 화웨이는 2022년 ‘수학계 노벨상’ 필즈상 수상자인 프랑스 수학자 로랑 라포르그를 영입해 AI로 수학 난제를 풀도록 지원하고 있다. 화웨이는 혁신적인 통신기술을 만드는 데 수학이 핵심 실마리를 제공할 수 있다고 본다.

세계 각국에서 AI와 수학을 접목시키려고 노력하는 이유에 대해 박예찬 AI기초과학센터 연구원은 “현재 AI 분야의 최대 목표는 AGI를 구현하는 것”이라면서 “이를 위해서는 매우 엄밀하고 논리적인 수학적 사고력을 AI가 갖춰야 한다고 본다”고 설명했다. AGI가 보편화되면 연구부터 금융, 생산, 예술, 안보 등 인류 사회의 모습이 급격하게 바뀔 것으로 예상된다.

이 교수는 “세계적인 흐름으로 자리 잡은 AI를 활용한 수학 연구가 한국에서 이뤄지지 않고 있어 매우 놀랐다”라면서 “한국 연구소, 정부, 기업 등이 관심을 가지면 선도국과의 격차는 빠르게 줄어들 것”이라고 말했다.

이채린 동아사이언스 기자 rini113@donga.com

ⓒ 동아일보 & donga.com, 무단 전재 및 재배포 금지