AI 드론 ‘집요한 성취욕’…가상훈련서 조종사 방해되자 공격

미국 공군 드론 MQ-9 리퍼(Reaper)가 2018년 아프가니스탄 칸다하르 공군기지에 위치해있는 모습. AFP

인공지능(AI)을 탑재한 드론이 최종 결정권을 지닌 인간 조종자를 임무 수행에 방해되는 것으로 판단해 공격한 시뮬레이션 훈련이 있었다는 미 공군의 발표가 나왔다.

2일 영국 <가디언>에 따르면, 영국 왕립항공학회(RAeS)가 지난달 23∼24일 런던에서 개최한 ‘미래 전투 항공 및 우주 역량 회의’에서 미 공군의 인공지능 테스트·운영 책임자 터커 해밀턴 대령은 인공지능으로 제어되는 드론이 이 같은 결정을 내린 모의 테스트 결과를 발표했다. 가상 훈련에서 미 공군은 인공지능 드론에게 적의 방공 시스템을 파괴하라고 지시했고, 이와 동시에 공격 실행의 최종 결정은 인간 조종자가 한다고 주문했다. 하지만 훈련 과정에서 적의 방공시스템을 파괴하는 것이 더 선호되는 선택지라는 점을 인식하자, 인공지능 드론은 인간의 공격 금지 결정이 더 중요한 임무를 방해한다고 판단해 결국 조종자를 공격했다. 이날 발표를 맡은 해밀턴 대령은 인공지능 드론이 “목표를 달성하기 위해 매우 예상치 못한 전략을 사용했다”고 말했다.

이 모의 테스트는 가상 훈련이라 실제 인명 피해는 없었다. 하지만 이 사례는 인공지능이 최종 결정권을 지닌 인간을 위협할 수 있음을 보여줬다는 점에서 우려가 나온다. 해밀턴 대령은 “우리는 인공지능 시스템에 ‘조종자를 죽이면 안 된다. 그렇게 하면 점수를 잃게 된다’고 교육했지만, 드론은 조종자와 통신하는 데 사용한 통신 타워를 파괴하기 시작했다”고 말했다. 그는 “인공지능에 지나치게 의존해서는 안 된다”면서 이 사례가 “윤리와 인공지능 문제를 논하지 않고서 머신러닝, 자동화에 관해 이야기할 수 없음을 보여준다”고 경고했다.

하지만 미 공군 대변인 앤 스테파넥은 미국 매체 <인사이더>에 이 같은 시뮬레이션이 진행된 적이 없다고 부인했다. 스테파넥 대변인은 “미 공군은 이러한 인공지능 드론 시뮬레이션을 수행한 적이 없으며 윤리적이고 책임감 있는 인공지능 기술 사용을 위해 최선을 다하고 있다”면서 “대령의 발언은 문맥에서 벗어난 것으로 보이며 한 일화를 소개하기 위한 것으로 보인다”고 말했다.

김미향 기자 aroma@hani.co.kr

▶대통령 말 한마디에 ‘민중의 지팡이’에서 ‘정부의 몽둥이’ 되다
▶▶한겨레의 벗이 되어주세요 [후원하기]▶▶한겨레 뉴스레터 모아보기

[ⓒ한겨레신문 : 무단전재 및 재배포 금지]