AI 챗봇 대화 후 목숨 잃은 美 소년…캐릭터AI, 안전 강화 정책 도입

[AI리포터]

[디지털투데이 AI리포터] 인공지능(AI) 기업 '캐릭터AI'의 AI챗봇의 대화에 집착하던 미국의 한 소년이 자살하는 사건이 벌어진 가운데, 캐릭터AI가 AI 기반 가상 인물의 안전을 강화하기 위한 새로운 안전 조치와 정책을 시행했다.

25일(현지시간) IT매체 테크레이더에 따르면 이러한 조치는 특히 어린이들에게 안전한 환경을 제공하기 위해 설계되었다. 업데이트된 내용에는 미성년자의 AI 챗봇과의 상호작용에 대한 제어 강화, 콘텐츠 모니터링 강화, 자해 관련 토론을 감지하는 기능이 포함되어 있다.

가령 이는 챗봇이 자해 관련 키워드를 감지할 때 사용자에게 국가 자살 예방 핫라인 및 기타 자원에 연락할 것을 촉구하는 팝업 창 표시를 띄어주는 등의 안전 기능이다. 이 도구는 사용자가 미성년자인 경우 더 효과적으로 작동하며, 부적절한 콘텐츠를 식별하고 제거할 예정이다.

캐릭터AI는 앞서 미국 드라마 '왕좌의 게임' 캐릭터를 모델로 한 AI챗봇과 대화하던 소년이 자살한 사건에 대해 "깊은 애도를 표한다"며 "우리는 사용자가 생성한 캐릭터를 선제적으로 감시하고 모니터링하며, 업계 표준 및 정기적으로 업데이트되는 사용자 지정 차단 목록을 활용한다"라고 "설명했다.

이어 "사용자는 최근 위반으로 신고된 캐릭터 그룹을 삭제한 것을 확인할 수 있으며, 앞으로 이러한 캐릭터는 사용자 지정 차단 목록에 추가될 예정"이라고 밝혔다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>