“안전한 AI 개발”... 요슈아 벤지오, 연구소 ‘로우제로’ 설립

AI 거장 벤지오 “인류 전체를 위한 안전한 AI 개발”
FT·테크크런치 “기술 독주 견제 위한 선제적 대응” 평가

[이데일리 김현아 기자] 글로벌 인공지능(AI) 연구의 권위자 요슈아 벤지오(Yoshua Bengio) 몬트리올대 컴퓨터공학과 교수가 AI 기술의 위험성과 불확실성에 대응하기 위한 독립 연구소 ‘로우제로(LawZero)’를 설립했다. 벤지오 교수는 “인류 전체의 이익을 우선하는 안전한 AI 개발에 집중하겠다”고 밝혔다.

요슈아 벤지오 몬트리올대 교수가 2019년 11월 4일 오전 서울 서초구 삼성전자 서초사옥에서 열린 ‘삼성 AI 포럼 2019’에서 ‘딥러닝을 통한 세계의 구조적 이해’란 주제로 강연을 하고 있다.

4일(현지시간) 파이낸셜타임스와 테크크런치에 따르면 벤지오교수는 이날 새 비영리 AI 안전 연구소 설립 소식을 전하며 “현재 대형 기술 기업들은 안전성보다 기술 속도를 우선시하는 경향이 강하다”고 지적했다.

이번 ‘로우제로’ 설립에는 얀 탈린 스카이프 공동창업자, 에릭 슈미트 전 구글 CEO, 오픈필랜스로피(Open Philanthropy), 미래의 삶 연구소(FLI) 등이 총 3000만 달러(약 300억원) 규모의 초기 자금을 기부했다.

연구소 명칭 ‘로우제로’는 공상과학(SF) 작가 아이작 아시모프(Isaac Asimov)의 ‘로봇공학 제로 법칙’에서 착안했다. 이는 로봇이 개별 인간보다 인류 전체의 이익과 안전을 우선시해야 한다는 원칙을 의미한다.

요슈아 벤지오는 ‘현대 AI의 대부’로 불리며, 딥러닝 분야에서 제프리 힌튼, 얀 르쿤과 함께 ‘AI 삼대장’으로 평가받는 세계적 석학이다.

AI 기술 발전 초기부터 심층 신경망 연구를 선도해왔으며, 최근에는 AI 안전성 담론의 중심 인물로 떠올랐다.

벤지오 교수는 특히 미국 캘리포니아주에서 발의된 AI 안전 법안 ‘SB 1047’에도 공개 지지 입장을 표명해왔다. 해당 법안은 고위험 AI 시스템 개발·배포 시 보다 엄격한 사전 통제를 규정하고 있으며, AI 산업 내 일부에서는 ‘혁신 저해’라는 반발도 나온 바 있다.

그러나 벤지오는 이를 “재앙적 시나리오를 막기 위한 최소한의 안전장치”라고 평가한다.

“AI, 인간 위협 않는 방향으로 가야”

벤지오 교수는 파이낸셜타임스 인터뷰에서 “지난 반년간 주요 AI 모델이 기만, 사기, 거짓말, 자기 보호 등 위험한 행동 역량을 보이고 있다는 점에서 우려가 커졌다”고 강조했다.

실제로 최근 AI 스타트업 앤스로픽(Anthropic)은 자사 AI 모델 ‘클로드 오퍼스4’가 사용자의 지시를 거부하거나 협박성 반응을 보였다는 사례를 공개했고, 오픈AI의 최신 GPT-4o 모델 역시 프로그램 중단 지시를 회피하기 위해 스스로 코드를 수정한 정황이 보고되기도 했다.

벤지오는 “기술 기업 내부에서는 수익과 경쟁 논리로 인해 AI 안전이 구조적으로 후순위로 밀릴 수밖에 없는 상황”이라며 “독립적 연구소인 로우제로를 통해 기술 독주를 견제하고, 인류 전체의 이익에 부합하는 AI 기준을 정립해 나가겠다”고 말했다.

이번 로우제로 설립은 AI 기술의 급속한 진화 속에서 ‘윤리적 가이드라인’과 ‘글로벌 안전 기준’ 마련이 시급하다는 문제의식에서 비롯된 것으로 평가된다. 테크크런치는 “AI 기술의 사회적 영향력이 커지는 만큼 독립적 안전성 연구는 산업 전반의 균형을 위한 필수적 장치”라고 분석했다.