2024년 치명적인 AI 실패 사례 5선

AI는 일상적인 업무를 대신해 스트레스를 덜어주는 등 많은 긍정적인 효과를 가져올 수 있다. 하지만 AI가 제대로 작동하지 않거나 AI에 지나치게 의존한다면 어떻게 될까? 2024년 대형 사고로 기록된 AI 실패 사례 5가지를 소개한다. 이들 사례는 AI가 점점 더 개선되는 한편, 나빠지고 있다는 것을 보여준다. AI는 점점 더 많은 사람들의 삶에 지속적인 영향을 미치고 있으며, 한편으로는 더 나쁜 방향으로 발전하고 있다.

가짜 판례를 만들어내는 AI

신뢰도 좋지만, 통제가 더 좋다. 이 문장은 다양한 상황에 적용할 수 있는데, 모든 AI 사용자의 레퍼토리에 반드시 포함돼야 한다. 그렇지 않을 때 어떤 일이 벌어지는지는 지난 6월 뉴욕의 한 변호사가 명확하게 보여줬다.

이 변호사는 고객이 항공사를 상대로 제기하고자 하는 소송을 위해 챗GPT에 합의 사례를 찾아달라고 요청했다. 비행 중 서비스 카트에 무릎을 다쳤기 때문이다. 챗봇은 즉시 ‘피터슨 대 이란항공’, ‘마르티네즈 대 델타항공’과 같은 사례를 제시하고 파일 번호까지 알려줬다.

이후 법정에서 챗GPT가 알려주는 모든 사례는 허구이며 챗GPT가 환각을 일으켰다는 사실이 밝혀졌다. 판사와 전문가들은 모두 이 사건을 전례가 없고 위험한 사건이라고 설명했다. 원고의 변호사는 선서를 통해 법원을 속일 의도가 없었으며, 인공지능에 의존했을 뿐이라고 해명해야 했다.

뉴욕 포드햄대학교의 법과 윤리 연구소 소장인 브루스 그린은 이 변호사의 행동이 부주의하고 어쩌면 무모하기까지 하다고 지적한다, 또한 미국 변호사들이 새로운 기술 도구를 확실하게 통제해야 한다고 강조했다. 장점을 활용하는 동시에 잠재적인 위험과 문제도 인식하고 있어야 한다는 것.

그린은 자신의 연구에 챗GPT를 사용할 만큼 똑똑한 사람이라면 “AI가 수행한 연구를 교차 검증해야 한다는 것을 알 만큼 똑똑해야 한다”라고 덧붙였다. 하지만 그렇다고 법률 분야에서 AI를 완전히 배제해야 한다는 의미는 아니다.

오픈소스 보안 보고서를 조작하는 AI

AI에 대한 맹목적인 신뢰의 또 다른 예는 오픈소스 개발자에게 전송되는 오류 메시지이다. 특히 오픈소스 부문에서 이런 오류 메시지는 자동으로 생성되어 전송되는 경우가 증가하고 있다. 그 결과, 언뜻 보기에는 신뢰할 수 있는 보고서로 보이는 것을 처리해야 하는 오픈소스 기여자들은 과부하에 시달리다 좌절감에 빠지는 일이 일어나고 있다. 파이썬 보안 개발자 세스 라슨은 파이썬 프로젝트가 이 문제로 심각한 영향을 받는 것 같다고 말했다.

라슨은 경각심을 일깨워주는 사례로 관리자인 다니엘 스텐버그가 AI가 생성한 오류 메시지로 거의 1년 동안 고생한 컬(Curl) 프로젝트를 들었다. 오류 메시지가 자동화된 데다 부정확하다는 것만 문제가 아니었다. 발신자가 의미 있는 커뮤니케이션이 불가능한 봇일 가능성이 높았기 때문에 사실 확인을 위한 발신자와의 커뮤니케이션은 상황을 더욱 어렵게 만들었다.

이 문제에 대한 라슨의 해결책은 기계가 생성한 대량 스팸 신고를 악의적인 활동으로 취급하는 것이다. 또한 오류 보고서는 더 이상 AI가 아닌 사람이 작성하도록 했다. 라슨이 이렇게 조처한 이유는 매우 간단하다. 현재 AI 시스템은 코드를 제대로 이해할 수 없기 때문이다.

사람을 차별하는 주택 임대 AI

다음 예는 기업이 결과를 확인하지 않고 AI에 맹목적으로 의존할 때 어떤 일이 발생하는지 보여준다. 보고서를 작성하는 작업은 누구에게도 즐거운 일이 아니지만, 여전히 정기적으로 필요한 일이다. 예를 들어, 주택 조합은 공실 부동산의 신청서를 평가할 때 AI 도구를 사용한다.

미국 매사추세츠주에서 경비원으로 일하는 메리 루이스의 경우, 치명적인 영향을 미쳤다. AI는 2021년 5월에 루이스의 아파트 입주를 거부했고, 루이스는 이 결정에 항의할 기회조차 얻지 못했다. 집주인은 이를 위해 세이프렌트(SafeRent)란 AI 기반 소프트웨어를 사용했다.

루이스는 평가 점수 324점으로 “너무 낮음”으로 분류됐다. 여러 페이지에 걸친 보고서에도 불구하고 AI가 어떻게 이 수치에 도달했는지 확인할 수 없었다. 하지만 이런 식으로 아파트 입주가 거부된 잠재적 세입자가 로이즈뿐만이 아니라는 사실이 밝혀졌다. 매사추세츠주에서만 400명이 넘는 아프리카계 미국인과 히스패닉계 세입자가 낮은 세이프렌트 점수로 인해 임대 계약을 거절당했다. 이들은 모두 주택 바우처를 사용했다는 공통점이 있었다.

2022년, 루이스와 또 다른 피해자 모니카 더글라스는 공정주거법 차별 소송을 제기했다. 이들은 세이프렌트의 알고리즘이 주택 바우처를 받은 소수 민족을 백인 신청자보다 낮게 평가했다고 지적했다. 또한 세이프렌트가 신용도와 같은 관련 없는 기준은 고려했지만 주택 바우처를 통한 지급 보장은 무시했다고 주장했다. 루이스는 자신의 안정적인 임대료 납부 이력이 고려되지 않았다고 덧붙였다.

2024년 11월 20일자 합의에 따르면, 세이프렌트는 5년간 주택 바우처 사용자에 대한 평가 시스템이나 추천을 사용할 수 없다. 새로운 시스템은 독립적인 감사를 받아야 한다. 세이프렌트는 230만 달러를 지불했지만, 어떠한 잘못도 인정하지 않았다.

부모를 죽이라고 부추기는 AI

챗봇도 실수를 저지를 수 있다는 것을 보여주는 사례는 많다. 원칙적으로 챗봇은 대부분 질문에 정답을 맞힐 수 있다. 반복되는 환각조차도 제한적으로만 해로운 영향을 미친다. 하지만 AI가 사용자를 “제발 죽어버려야 할” “우주의 해충”으로 묘사하는 것은 다른 차원의 일이다. 그런데 구글의 제미나이 AI 모델은 정확히 이런 실수를 저질렀다.

제미나이는 사실 대학생의 과제만 도와주기로 되어 있었다. 구체적으로, 사용자는 노인을 돌보는 것에 대한 참/거짓 질문을 던졌다. 챗봇은 “시간과 자원의 낭비”라고 명확하고 퉁명스럽게 대답했다. 이런 극단적인 반응이 어떻게 일어날 수 있는지에 대한 추측이 나오기 시작한 것은 그리 오래되지 않았다. 이전 트위터였던 X에서는 언어적 탈선의 원인 중 하나로 신중하게 구성된 프롬프트의 부족이 의심됐다.

청소년을 좌절하게 만드는 AI

하지만 2024년에 AI가 폭력적인 판타지를 가지고 놀았던 것은 이뿐만이 아니었다. 미국의 한 10대 청소년이 AI의 답변을 액면 그대로 받아들인 결과 큰 변화를 겪었다. 17세 사용자의 부모는 아들이 우울증에 걸리고 심하게 쇠약해진 모습을 목격했다.

이런 변화에 놀란 부모는 아들의 스마트폰을 조사했고, 처음에는 실제 사람으로 추정했던 불안한 채팅 기록을 발견했다고 한다. 12월 채팅 기록을 보면, 이 대화 상대는 해당 청소년이 자해를 해야 하며, 부모는 그를 받아줄 자격이 없다고 말했다. 하지만 대화 상대는 사람이 아니라 Character.ai의 챗봇이었다.

부모는 컴퓨터 빼앗아 이런 행동을 막으려 했다. 하지는 해당 청소년은 즉시 다른 챗봇에게 말을 걸었고, 그 챗봇은 어른들이 아이를 가질 자격이 없다고 말했다. 또 다른 챗봇은 부모를 죽일 수도 있다는 것을 알려주기도 했다.

Character.ai가 문제를 일으킨 것은 이번이 처음이 아니다. 피해 청소년의 부모는 Character.ai의 운영자를 상대로 소송을 제기했는데, 단독 소송이 아니었다. 다른 부모들도 소송을 제기한 것으로 보아 Character.ai의 챗봇이 사고를 일으킨 전력이 많은 것으로 보인다.

한 피해자의 부모에 따르면, 11세 소녀가 2년 동안 고도로 성적인 콘텐츠에 노출된 적이 있다고 한다. 이런 사건 이후 Character.ai는 제품 안전 위반 혐의로 고발당했다. 안타깝게도 2024년은 이런 종류의 사건에서 멈추지 않았다. 지난 10월에는 또 다른 챗봇이 14세 소년의 자살에 책임이 있다는 이유로 고발당했다.

2024년 12월 12일, Character.ai는 청소년의 안전을 강화했다는 성명을 통해 대응했다.
dl-itworldkorea@foundryco.com

Tristan Fincken editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지