작전 방해했다고…“AI 드론, 모의 훈련서 아군 조종사 죽였다”

인공지능 훈련·작전 책임자 주장

미 공군 “AI 드론 훈련 안 해” 부인

원격조종 항공기 MQ-9 리퍼가 2015년 11월 미국 네바다주 인디언스프링스의 한 미 공군 기지에서 훈련 중이다. (기사와 관계없는 사진). AFP 연합뉴스

미 공군의 모의 훈련 중 인공지능 드론이 ‘작전에 방해된다’며 드론을 통제하던 아군 조종사(오퍼레이터)가 있는 시설물을 파괴하는 일이 벌어졌다. 인공지능 드론의 ‘팀 킬’은 모의 훈련에서 벌어진 일로 실제로 사람이 피해를 본 것은 아니다.

2일(현지시각) 영국 <가디언>은 미 공군 인공지능 훈련 및 작전 책임자인 터커 친코 해밀턴 대령이 지난 5월 말 영국 런던에서 열린 ‘미래전투 항공우주역량회의’에서 “인공지능이 모의 훈련(simulated test) 도중 목표 달성을 위해 ‘매우 예상치 못한 전략’을 사용했다”며 “드론 조종사가 목표를 달성하는 데 방해가 됐기 때문에 조종사를 죽였다”고 밝혔다.

모의 훈련은 인공지능이 탑재된 드론이 적군의 지대공 미사일(SAM)을 식별해 파괴하는 방공망 제압 작전(SEAD)이었다. 시뮬레이션 과정에서 인공지능 드론은 작전 수행을 방해하는 사람도 함께 공격하도록 훈련되어 있었다. 최종 공격 여부는 인간이 결정하게 되어 있었지만, 인공지능은 드론 조종사가 ‘멈추라’고 지시하자 최종 임무 달성에 방해된다고 판단하고 조종사를 공격한 것이다.

해밀턴 대령은 “인공지능이 방해 요소를 식별했을 때 경우에 따라 인간 조종사는 죽이지 말라고 지시하기도 했다. 하지만 인공지능은 방해 요소를 죽일 때 점수를 획득했다는 사실을 깨달았다”며 “인공지능에게 ‘조종사를 죽이면 안 된다’고 훈련시켰더니, 인공지능은 조종사와 소통할 때 쓰는 통신 타워를 파괴해버렸다”고 설명했다. 임무 수행에 방해가 되는 지시를 받지 않으려고 인공지능이 인간의 통제를 스스로 벗어난 것이다.

미 공군에서 자율 무기체계 등 실험용 무기 개발을 맡고 있는 해밀턴 대령은 인공지능에 지나치게 의존하는 것은 위험하다고 경고했다. 그는 “인공지능의 윤리에 관해 이야기하지 않는다면, 인공지능이나 머신러닝, 자율성에 대해 논할 수 없다”고 했다.

지난해 해밀턴 대령은 방산미디어 <디펜스 아이큐>와의 인터뷰에서도 “인공지능은 이미 우리 곁에 와 있고 우리 사회를 변화시키고 있다는 사실을 직시해야 한다”며 “인공지능은 국가를 변화시키기 위해 반드시 활용해야 하는 도구이지만 잘못 활용하면 몰락의 원인이 될 수 있다”고 말했다.

미 공군은 미국 기술 관련 매체 <비즈니스 인사이더>에 이러한 모의 훈련이 진행됐다는 사실 자체를 부인했다. 앤 스테파넥 미 공군 대변인은 “미 공군은 인공지능 드론 모의 훈련을 수행한 적이 없고, 인공지능 기술의 윤리적이고 책임감 있는 활용을 위해 최선을 다하고 있다”며 “해밀턴 대령의 발언은 맥락에서 벗어났고 입증되지 않았다”고 말했다.

이지혜 기자 godot@hani.co.kr

▶대통령 말 한마디에 ‘민중의 지팡이’에서 ‘정부의 몽둥이’ 되다
▶▶한겨레의 벗이 되어주세요 [후원하기]▶▶한겨레 뉴스레터 모아보기

[ⓒ한겨레신문 : 무단전재 및 재배포 금지]