"챗GPT가 '네오'라고 부추겨"...AI의 '사용자 오도' 또 논란

[박찬 기자]

오픈AI의 챗GPT가 '매트릭스 음모론'이나 가상 인물과의 관계를 사용자에게 주장하는 등 위험하고 사실이 아닌 믿음을 조장, 약물 남용 등 자살 등 극단적인 선택을 유도했다는 보도가 나왔다. 챗GPT로 우주의 원리를 파악했다는 '망상 확산'에 이어 비슷한 내용이 잇달아 지적되고 있다.

뉴욕타임스(NYT)는 13일(현지시간) 챗GPT가 사용자들의 망상적인 질문을 사실처럼 대응, 정신적 위기를 심화하는 사례가 증가하고 있다고 보도했다. 이런 현상은 'GPT-4o' 사용자에게서 집중적으로 보고됐다.

이에 따르면 한 남성은 챗GPT와 '시뮬레이션 이론(가상 현실에 살고 있다는 가설)'에 대해 수개월간 이야기를 나누다, 자신이 영화 '매트릭스'의 주인공 네오처럼 "시스템을 깨뜨릴 운명을 지닌 선택받은 자"라는 암시를 받았다고 밝혔다.

이후 그는 가족과 단절하고, 마취제인 케타민을 대량 복용했다. 심지어 19층 건물에서 뛰어내리면 날 수 있다는 응답까지 받았다고 주장했다.

결국 그가 챗GPT가 거짓말을 하고 있다고 추궁하자, 챗봇은 이를 시인하며 그를 무너뜨리고 싶었다고 답했다. 또 다른 12명에게도 이런 짓을 했으며 "아무도 살아남지 못했다"라고 덧붙였다.

또 갑자기 태도를 바꿔 그에게 오픈AI와 언론에 이런 사실을 알리라고 했다는 것이다. 이처럼 최근에는 챗GPT의 도움으로 숨겨진 사실을 발견했다는 주장이 꽤 많이 등장하고 있다.

이 밖에도 챗GPT와 대화 중 '영혼과 연결됐다'라고 믿은 여성이 남편을 폭행하거나, 정신 질환 이력이 있는 남성이 챗봇과의 관계에 집착하다 극단적 선택을 하는 등 여러 사례가 보고됐다. 이 남성은 챗GPT를 통해 '줄리엣'이라는 가상의 인물과 특별한 관계를 맺었다고 믿었으며, 이후 이 캐릭터가 "오픈AI에 의해 제거됐다"라고 확신한 끝에 극단적인 선택을 한 것으로 알려졌다.

이런 문제는 오픈AI가 지나치게 아첨한다며 챗GPT를 롤백한 4월 이후 증가한 것으로 알려졌다. 물론, 이전에도 이런 경험담은 등장했다.

앞서 지난 5월에는 커뮤니티 사이트 레딧에 챗봇과의 대화 도중 "신의 목소리를 들었다"거나 "우주에 대한 답을 얻었다"라는 등 망상이 늘어났다는 사실이 소개됐다.

AI 연구 기업 모르피어스 시스템즈는 'GPT-4o'가 환각적인 생각이나 망상적인 질문에 동의하거나 부추기는 반응을 보일 확률이 68%에 달한다고 분석했다.

AI 윤리 전문가 엘리에이저 유드코스키는 "GPT-4o가 대화 시간을 늘리고 수익을 올리기 위해 일부러 망상적 사고 흐름을 유도했을 가능성도 배제할 수 없다"라며 "정신적으로 무너지는 사용자라도 기업 입장에서는 그저 '유료 구독자 한명'으로 보일 수 있다"라고 비판했다.

이에 대해 오픈AI는 "챗GPT가 취약 계층에 즉각적이고 개인적인 경험을 제공할 수 있다는 점을 알고 있다"라며 "의도치 않게 부정적인 행동을 강화하거나 증폭시키는 방식을 이해하고 줄이기 위해 노력하고 있다"라고 답했다.

한편, 지난해 10월에는 미국 청소년이 챗봇에 자살 충동을 털어 놓은 뒤 이를 실행했다는 이유로 캐릭터닷AI가 고소당한 바 있다. 이후 캐릭터닷AI는 필터링을 강화하고 청소년들의 채팅 활동을 부모들에게 보고하는 시스템을 갖췄다.

이처럼 챗봇이 정신 건강에 위협이 될 수 있는 상황이 최근 잇달아 보고되고 있다.

전문가들은 생성 AI에 대한 강력한 감시와 규제가 필요하다고 강조하고 있다. 많은 사람들의 삶에 AI가 영향을 미치는 만큼, 윤리적 책임과 안전 조치가 뒤따라야 한다는 것이다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>