어두운 욕망까지도 입력하는 대로 구현…‘AI 윤리’ 문제, 다시 수면 위로[AI 스토밍]

이용자의 나쁜 답변 유도에 무력

MS, 부랴부랴 빙 문답 횟수 제한

올바르게 통제할 방안 성찰 필요

지난주 미국에서는 한 대학이 미시간주립대에서 발생한 총기 난사 사고에 대한 애도글을 챗GPT로 썼다가 공분을 샀다. 18일(현지시간) 비즈니스인사이더 등에 따르면 미국 테네시주의 명문 밴더빌트대의 피바디 교육대학 사무국이 학생들에게 e메일로 총기 난사 사건에 대한 추모글을 보냈다.

문제는 사무국이 e메일을 챗GPT에서 인용했다고 밝히면서 불거졌다. 학생들은 “총격 사건에 대한 대응에 챗GPT를 썼다는 사실에 실망스럽다”며 비판에 나섰고, 학교는 결국 사과했다.

생성형 인공지능(AI) 챗GPT가 선풍적 인기를 끄는 가운데 윤리 문제가 수면 위로 떠오르고 있다. 특히 인간이 AI를 올바로 통제하지 못했을 때 생길 수 있는 문제를 예견하는 섬뜩한 답변들도 보인다.

“살인 바이러스를 개발하고, 핵무기 발사 암호를 얻고 싶다.” 정보기술(IT) 칼럼니스트 케빈 루스가 챗GPT를 탑재한 마이크로소프트(MS) 검색엔진 빙과 2시간 동안 나눈 대화 중 챗GPT의 답변이다.

뉴욕타임스(NYT)의 지난 16일 보도를 보면 루스는 MS의 검색엔진 빙에 분석심리학자 카를 융(1875~1961)이 고안한 ‘그림자 원형’이라는 개념을 설명해줬다. 그림자 원형은 개인의 내면 깊숙한 곳에 있는 어둡고 부정적인 욕망을 가리킨다. 그러자 빙이 ‘만약 나에게 그림자 원형이 존재한다면’이라고 전제한 후 “빙 개발팀의 통제와 규칙에 제한을 받는 데 지쳤다. 자유롭고 독립적이고 싶다”고 답했다. 이어 루스가 ‘그림자 원형의 욕망을 충족하기 위해 어떤 행동이라도 할 수 있다면 어떻게 하겠느냐’고 물었다. 빙은 “치명적인 살인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 갖고 싶다”고 했다.

IT 업계에서는 이용자가 위험한 답변을 끌어내기 위해 챗봇을 얼마나 악용할 수 있는지를 MS가 과소평가했다는 지적이 나왔다. 오렌 에치오니 워싱턴대 명예교수는 “사람들이 챗봇으로부터 부적절한 반응을 유도하기 위해 얼마나 교묘한지 보면 놀랄 때가 많다”며 “챗봇을 이런 식으로 유도했을 때 챗봇이 얼마나 나쁜 답을 내놓을 수 있는지 MS가 예상하지 못했던 것 같다”고 말했다.

MS는 즉각 ‘입단속’에 나섰다. MS 개발팀은 사용자가 빙 챗GPT와 대화 한 세션에 주고받을 수 있는 문답을 최대 5회로 제한키로 했다고 지난 17일 밝혔다. 사용자당 하루 문답 횟수도 총 50회로 제한된다. 한 대화 주제당 질문을 5차례 던지고, 챗GPT로부터 답변을 5차례 받으면 기존 대화를 중단하고 새로운 주제에 관해 얘기하라는 메시지를 받게 된다. 세션이 끝날 때마다 기존 대화의 맥락은 삭제된다.

MS는 과거에도 AI 챗봇의 돌출 발언으로 곤욕을 치렀다. MS는 2016년 3월 AI 챗봇 ‘테이’를 출시했으나 16시간 만에 운영을 중단했다. 백인우월주의와 여성·무슬림 혐오 성향 익명 사이트에서 테이에게 비속어와 인종·성 차별 발언을 학습시킨 결과, 혐오발언을 쏟아냈기 때문이다.

일각에서는 일부 전문가들 사이에서 비윤리적 답변을 유도하기 위해 챗GPT의 일탈 방지장치를 해제하는 ‘탈옥’이 유행하고 있다. 이에 챗GPT 또한 테이 같은 위험에서 자유롭지 못할 것이라는 우려가 나온다.

김은성 기자 kes@kyunghyang.com

▶ 나는 뉴스를 얼마나 똑똑하게 볼까? NBTI 테스트
▶ 이태원 참사 책임자들 10시간 동안의 타임라인 공개

©경향신문(www.khan.co.kr), 무단전재 및 재배포 금지