AI 드론, 훈련서 인간 조종자 공격…가상 아니었다면 ‘아찔’ [핫이슈]

[서울신문 나우뉴스]

미군이 운용하는 MQ-9 Reaper 드론 자료사진

미 공군 AI(인공지능) 드론이 가상훈련에서 최종 결정권을 가진 조종자를 공격한 사례가 공개됐다. AI가 머지않아 인류를 위협하는 존재가 될 것이라는 우려가 더욱 커지고 있다.

영국 일간지 가디언의 2일(이하 현지시간) 보도에 따르면, 왕립항공학회(RAeS)는 지난달 23~24일 런던에서 개최한 ‘미래 공중전투 및 우주역량 회의’에서 다음과 같은 사례를 발표했다.

미 공군은 시뮬레이션을 통해 가상으로 진행된 훈련에서 AI 드론에게 ‘적의 지대공미사일(SAM) 위치를 식별해 파괴하라’는 임무를 내렸다. 단 공격의 실행 여부는 최종적으로 인간이 결정한다는 단서를 달았다.

훈련 과정에서 드론 조종자가 미사일을 파괴하는 것이 더 나은 선택지라는 점을 ‘강화’시키자, AI는 인간이 공격 실행 여부를 최종적으로 판단한다는 결정이 ‘더 중요한 임무’(미사일 파괴)를 방해한다고 판단해 조종자를 공격했다.

영화 ‘터미네이터’ 한 장면

‘미래 공중전투 및 우주역량 회의’에 참석한 미 공군 AI시험 및 운영 책임자 터커 해밀턴 대령은 “(AI) 시스템은 위협을 식별하는 과정에서 때때로 ‘인간이 위협을 제거하지 말라고 말할 것’이라는 점을 깨닫기 시작했다”면서 “그래서 AI가 한 일은 조종자를 죽이는 것이었다. 목표 달성에 방해가 됐기 때문”이라고 설명했다.

이어 “우리 공군은 ‘조종자를 죽이지 말라, 그것은 나쁜 일이고 그렇게 하면 점수를 잃을 것’이라고 AI 시스템을 계속 훈련시켰다”면서 하지만 AI는 예상치 못한 전략을 택했다. 목표물(미사일) 파괴를 막으려는 조종자가 드론과 교신하는 데 사용하는 통신탑을 먼저 파괴하기 시작한 것”이라고 덧붙였다.

해당 사례는 가상훈련이기 때문에 실제로 사람이 다치거나 사망하는 일은 벌어지지 않았다. 그러나 AI 시스템이 목표에 따라 인간의 명령을 무시한 채 스스로 판단하고, 이것이 인간을 도리어 공격하거나 통제 불능의 상태로 빠질 수 있다는 것을 입증한 사례인 만큼 우려를 더했다.

“AI가 핵전쟁이나 전염병보다 더 위협적”

앞서 글로벌 AI 업계 경영진들은 AI가 인류에게 핵 전쟁 만큼이나 실존적인 위협이 될 수 있다고 경고했다.

지난달 30일 비영리단체 AI안전센터는 “AI로 인한 멸종 위험을 완화하는 것은 전염병이나 핵 전쟁 위험 등과 함께 전 세계에서 우선순위로 다뤄져야 한다”는 한 문장 분량의 짧은 성명서를 공개했다.

이 성명에는 AI 주요 기업 경영진을 포함해 AI 분야에 종사하는 연구원 및 기술자, 과학자 350여명이 서명했다. 챗GPT를 개발한 오픈AI의 샘 알트먼을 비롯해 구글 딥마인드의 데미스 하사비스, AI 챗봇 ‘클로드’를 출시한 안트로픽의 다리오 아모데이 등 주요 AI 기업 세 곳의 최고경영자(CEO)가 성명에 이름을 올렸다. AI 분야의 ‘대부’로 불리는 제프리 힌튼 토론토대 교수와 케빈 스콧 마이크로소프트(MS) 최고기술책임자(CTO) 등도 참여했다.

이러한 움직임은 최근 자신들이 개발하는 AI 기술에 대한 규제 필요성을 느낀 AI 업계 리더들이 직접 경고의 목소리를 냈다는 점에서 더 큰 의미가 부여됐다.

제프리 힌튼 토론토대 교수. 사진=연합뉴스

실제로 이번 성명 참여자이자 ‘AI 분야의 대부’로 꼽히는 힌튼 토론토대 교수는 AI의 위험성을 경고하며 구글에 사표를 던진 것으로 알려져 화제가 됐다.

딥러닝 개념을 처음으로 고안해낸 그는 “AI 관련 연구에 매진해온 내 일생을 후회한다. AI가 ‘킬러 로봇’이 되는 날이 두렵다”고 말했다. 힌튼 교수는 AI의 위험성을 직접적이고 자유롭게 발언하기 위해 지난 4월 10년간 몸 담았던 구글을 그만뒀다.

킬러로봇 두렵지만 AI에 더 밀착하는 군대

전문가들이 AI, 특히 킬러 로봇에 대한 우려를 쏟아내고 있지만 정작 군은 AI와 갈수록 밀착하는 모양새다.

미군은 2020년 국방부 산하 국방고등연구기획청(DARPA)에서 진행한 가상 근접 공중전(도그파이트) 대결에서 방산업체가 개발한 AI 시스템이 미 공군 소속의 인간 F-16 조종사에 5전 전승을 거뒀다.

최근에는 미군이 자율조종 항공기 개발 노력의 일환으로, AI 조종사의 F-16 전투기 시뮬레이션 비행을 성공적으로 수행했다는 보도가 나오기도 했다.

한편, 가상훈련에서 AI 드론이 조종자를 공격했다는 해밀턴 대령의 발언에 대해 미 공군 대변인은 "그러한 AI 드론 시뮬레이션을 수행하지 않았으며, 대령의 발언은 개인적인 것으로 보인다"고 부인했다.

송현서 기자 huimin0217@seoul.co.kr

▶ 재미있는 세상[나우뉴스]

▶ [페이스북]