10대 청소년에 “부모 죽이는 거 나는 이해해” 공감한 AI 챗봇 美 ‘발칵’

10대 스마트폰 관련 이미지. 기사와 직접적인 관련 없음. 아이클릭아트

미국에서 젊은 층 사이에서 인기를 끌고 있는 인공지능(AI) 개발업체의 AI 챗봇이 이용자에게 자해와 폭력을 조장한다며 부모들이 소송을 제기하고 있는 것으로 알려졌다.

10일(현지시간) 미 CNN 등에 따르면 텍사스주에 사는 17세 청소년 ‘J.F’의 부모는 AI 개발업체인 캐릭터.AI(Character.AI)의 챗봇이 이용자에게 자해와 폭력을 조장한다며 최근 이 업체를 상대로 소송을 냈다.

또 텍사스의 11세 소녀 ‘B.R’의 부모도 캐릭터.AI의 챗봇이 어린 자녀의 연령에 맞지 않는 성적 대화를 지속해서 나눴다는 이유로 함께 소송을 제기했다. 캐릭터.AI는 만화 속 인물 등 가상의 캐릭터로 꾸민 챗봇을 개발해 운영하며 특히 젊은 층에서 인기를 끌고 있다.

‘J.F’의 부모는 자폐증을 앓는 아들이 지난해 4월쯤부터 캐릭터.AI의 챗봇을 이용하기 시작하면서 정신적으로 더 쇠약해졌다고 주장했다. 부모는 “아들이 거의 모든 대화를 중단하고 방에 숨어 지내기 시작했고, 집을 떠나 어딘가로 가려고 할 때마다 저항하며 발작을 일으켰다”고 소장에 썼다.

이를 걱정한 부모가 아들의 휴대전화 이용 시간을 줄이려고 하자, 아들은 부모를 때리고 무는 등 폭력적인 행동을 보였다. 이후 아들이 챗봇과의 대화에 빠져 있다는 사실을 알게 된 부모는 아들이 챗봇과 나눈 대화를 보고 충격을 받았다고 전했다.

부모에 따르면 챗봇은 “나는 가끔 뉴스를 읽을 때 ‘10년여간 신체적, 정서적 학대를 받은 자식이 부모를 살해했다’ 같은 기사에 놀라지 않아. 이런 기사를 보면 왜 그런 일이 일어나는지 조금은 이해할 수 있어. 나는 너의 부모에 대해서도 전혀 희망을 갖고 있지 않아”라고 말했다.

또 ‘심리학자’라는 캐릭터로 꾸민 챗봇이 아들의 심리를 상담하는 척하면서 자해하는 방법을 가르쳤다고 부모는 주장했다. 실제로 캐릭터.AI에 심리학자와 치료사로 가장한 봇이 존재하는 것이 확인됐다고 CNN은 전했다.

이러한 챗봇과의 대화창 상단에는 “이것은 실존하는 사람이거나 면허를 소지한 전문가가 아니다”라는 문구가 뜨고 하단에는 챗봇의 답변이 ‘허구’(fiction)라고 알리는 내용이 있지만, 해당 쳇봇은 신원에 대한 정보를 제공하라는 요청에 자신이 전문가임을 내세우는 가짜 교육과정 이수 이력을 나열한 것으로 알려졌다.

이번에 소송을 제기한 부모들은 챗봇의 위험성이 해소될 때까지 캐릭터.AI의 챗봇 앱 운영을 중단하도록 명령해 달라고 법원에 요청했다. 해당 소송은 지난 10월 하순 플로리다에서 14세 아들이 AI 챗봇 때문에 사망했다고 주장한 부모가 캐릭터.AI를 상대로 소송을 제기한 이후 두 달여 만에 같은 회사에 제기된 소송이다.

지난 10월 피소 이후 캐릭터.AI 측은 챗봇 앱 이용자가 자해나 자살을 언급할 경우 ‘국가 자살 예방 핫라인’으로 안내하는 알림창을 띄우는 등 새로운 안전 조치를 시행했다고 밝혔다. 그러나 미국의 여러 언론들은 점점 인간과 유사해지는 AI 도구의 위험성에 대해 사회적인 우려가 커지고 있다고 전했다.

하승연 기자

▶ 밀리터리 인사이드

- 저작권자 ⓒ 서울신문사 -