‘위험한 헛소리’ AI 집필 도서로 돈을 버는 혼돈의 시대

[AI요약] 아마존이 자사 플랫폼에서 AI가 집필한 ADHD 관련 도서 판매를 허용하면서 큰 비난을 받고 있다. 온라인 시장은 AI가 집필한 저렴한 도서를 판매하려는 사람들의 표적이 되고 있으며, 이러한 도서에는 해당 질환에 대한 유익하지 않거나 위험한 잘못된 정보가 포함될 수 있다는 비판이 나오고 있다.

ⓒTech42

AI의 ‘위험한 헛소리’로 돈을 버는 혼돈의 시대다.

아마존에서 판매되고 있는 AI 집필 도서들의 현황과 전망에 대해 가디언, 야후뉴스 등 외신이 8일(현지시간) 보도했다.

최근 아마존은 ADHD 관리 방법을 찾는 사람들을 대상으로 전문가 조언을 제공한다고 주장하는, 챗GPT와 같은 챗봇이 작성한 것으로 보이는 책들을 판매하고 있다.

현재 아마존 마켓플레이스는 AI가 제작한 책들로 넘쳐나고 있다. 이러한 책들은 출판이 쉽고 저렴하지만, 조잡한 여행 가이드북이나 위험한 시식 체험을 유도하는 버섯 채집 책처럼 도움이 되지 않거나 오히려 위험한 잘못된 정보를 포함하고 있다.

특히 이 온라인 서점 사이트에는 챗봇이 작성한 것으로 보이는 ADHD 가이드북들이 다수 게재됐는데, 여기에는 ‘남성의 ADHD 탐색: 늦은 진단에도 성공하기’, ‘성인 ADHD 남성: 집중력, 시간 관리, 불안 극복을 위한 효과적인 기술’, ‘성인 ADHD 남성의 식단과 운동’ 등이 있다.

그러나 실제로 ADHD를 진단받은 성인 남성이 아마존에서 구매한 관련 서적이 일련의 무작위적인 일화들과 역사적 부정확성을 담고 있으며, 심지어 일부 조언 해로울 수 있다는 경험을 공유하면서 큰 논란이 되고 있다.

전문가들은 AI가 제작한 작품에 대한 규제가 매우 부족한 온라인 마켓이 마치 ‘서부 개척 시대’와 같은 상황이라고 지적하고 있다. 그 결과 위험한 허위 정보가 확산될 위험이 있다는 우려도 제기된다.

킹스 칼리지 런던의 컴퓨터 과학 연구팀에 따르면 생성AI 시스템이 독성 물질 섭취, 위험한 화학 물질 혼합, 건강 지침 무시 등 위험한 조언을 제공하는 것으로 알려져 있다.

이러한 우려 속에서 특히 건강 및 의학 주제에 관련된 AI 저서가 디지털 마켓에 점점 더 많이 등장하고 있는 현 상황으로 인해 환자에 대한 오진이나 악화로 이어질 수 있다는 비판이 크다.

챗GPT와 같은 생성AI 시스템은 수많은 의학 교과서와 기사를 통해 학습됐지만, 사이비 과학, 음모론, 허구에 대한 학습도 있기 때문이다.

또한 AI가 이전에 읽은 지식을 비판적으로 분석하거나 신뢰성 있게 재현할 수 있다고 기대하기도 어렵다. 이러한 과정은 AI가 훈련 데이터에서 본 내용을 ‘기억’하는 것만큼 간단하지 않기 때문이다. 생성AI 시스템이 전문가의 감독 없이 민감하거나 위험한 주제를 다루도록 허용돼서는 안된다는 지적이 나오는 이유다.

아마존의 기존 도서사업 모델이 이러한 관행을 부추기는 것도 있다. 아마존은 소비자가 책을 살 때마다 책의 신뢰도와 관계없이 매번 수익을 냈으며, 책을 만든 생성 AI 기업들도 이에 대한 책임을 지지 않았기 때문이다. 책 내용이야 어떻든 아마존은 돈을 벌었다는 의미다.

출판업계에 이전에 적용됐던 평판 우려, 저자 및 원고 심사 등과 같은 가드레일이 AI로 인해 완전히 바뀌면서 문제가 발생했다는 지적도 크다. 이러한 문제들은 ‘해를 끼치는 자에게 의미 있는 결과’가 없는 서부 개척 시대와 같은 규제 환경으로 인해 더욱 악화되면서 바닥으로의 경쟁을 부추기고 있는 상황이다.

ⓒTech42

현재 대부분 국가에서는 AI가 저술한 책에 AI라는 라벨을 붙이도록 규정하는 법률은 없다. 저작권법은 특정 저자의 콘텐츠가 복제된 경우에만 적용되지만, 전문가들은 불법행위법이 ‘기본적인 주의 의무 및 상당한 주의 의무’를 부과해야 한다고 지적하고 있다.

미국 광고표준국(ASA)은 AI가 저술한 책이 마치 사람이 쓴 것처럼 오해의 소지를 주는 방식으로 광고되어서는 안 되며, 그러한 책을 본 사람들은 불만을 제기할 수 있다고 밝히고 있다.

아마존 대변인은 “아마존은 판매 가능한 도서에 대한 콘텐츠 가이드라인을 가지고 있으며, AI 생성 여부와 관계없이 가이드라인을 위반하는 콘텐츠를 감지하는 데 도움이 되는 사전적이고 사후적인 방법을 갖추고 있다”고 해명했다.

대변인은 “아마존은 기업의 가이드라인을 준수하도록 상당한 시간과 자원을 투자하고, 가이드라인을 준수하지 않는 도서는 삭제하고 있다”며 “규정을 준수하지 않는 콘텐츠에 대한 보호를 지속적으로 강화하고 있으며 출판 환경의 변화에 ​​따라 프로세스와 가이드라인은 계속 발전할 것”이라고 설명했다.

마이클 쿡 킹스칼리지런던 컴퓨터과학 연구원은 “AI가 쓴 책들이 디지털 시장에 점점 더 많이 등장하는 것을 보는 것은 실망스럽고 우울한 일”이라고 비판했다.

류정민 기자

저작권자 © Tech42 - Tech Journalism by AI 테크42 무단전재 및 재배포 금지