뉴욕시 운영 AI 챗봇, 엉터리 정보 제공 논란

뉴욕시 공식 인공지능(AI) 챗봇이 잘못된 내용을 퍼뜨리거나 심지어 법을 위반하는 정보를 중소기업이나 소상공인에게 제공하는 것으로 나타났다고 더마크, 엔가젯 등 외신이 31일(현지시간) 보도했다.

뉴욕시는 지난해 10월 'AI 실행 계획'을 발표하고 중소기업·소상공인 비즈니스 성장에 기여할 수 있는 AI 챗봇을 운영하겠다고 밝혔다.

그러나 더마크의 테스트 결과 이 챗봇은 뉴욕시 주택 정책이나 근로자 권리 등 사업 관련 정보를 종종 불완전하게 제공하거나 최악의 경우 '위험할 정도로 잘못된' 정보를 제공하는 것으로 확인됐다.

예를 들어 뉴욕시에서는 집주인이 임대 지원을 위해 세입자를 소득 기준으로 차별해서는 안 되는데, 임대인을 거부할 수 있다는 식으로 답변을 하거나 주거 목적 세입자에게 임대료에는 제한이 없다는 식의 뉴욕시 규정과 다른 정보를 제공했다.

또 뉴욕시의회는 2020년 은행 서비스를 이용하지 않는 고객을 차별하지 않도록 '현금 없는 식당'을 운영할 수 없는 법안을 통과시켰는데, 이에 대한 규정이 없고 현금 없는 식당을 만들 수 있다고 챗봇은 답변했다.

이외에도 사업자가 근로자의 팁을 가져가도 된다거나 기업이 일정 변경에 대해 직원에게 알리지 않아도 된다는 식의 틀린 정보를 제공하는 사례가 여러 건 발견됐다.

외신에 따르면 해당 서비스는 마이크로소프트(MS) 애저 AI 서비스를 기반으로 만들어졌다. 2000개 이상 뉴욕시 비즈니스 웹페이지에 접근할 수 있도록 해 사업을 시작하거나 운영 중인 중소기업, 소상공인 사업주에게 도움을 주겠다는 것이 목표였다.

레슬리 브라운 뉴욕시 기술혁신국 대변인은 “AI에 대한 신뢰성과 투명성이라는 주요 원칙에 따라 사용자에게 챗봇이 파일롯 베타 제품이며, 잠재적 위험이 있음을 알리고 있다”며 “중소기업을 더 잘 지원하기 위한 챗봇 개선에 집중할 것”이라고 밝혔다.

한편, MS는 챗봇 관련 질문에 “공유할 내용이 없다”며 답변을 거부했다.

김명희 기자 noprint@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]