AI 발전 저지 위한 '데이터 오염' 집단 움직임 등장

[박찬 기자]

(사진=셔터스톡)

일부 기술 관계자들이 AI 모델을 무력화하기 위한 '집단 데이터 중독(data poisoning)' 운동을 공개적으로 촉구하고 나섰다. 이들은 AI 학습의 핵심 기반인 데이터를 오염시켜 기술 발전을 저지해야 한다고 주장하고 있다.

더 레지스터는 11일(현지시간) AI 업계 관계자들이 웹사이트 운영자들에게 AI 크롤러가 수집하도록 고의로 왜곡된 학습 데이터를 담은 링크를 사이트에 삽입해 달라고 요청하는 '포이즌 파운틴(Poison Fountain)'이라는 프로젝트를 최근 시작했다고 보도했다. 이 프로젝트는 약 일주일 전부터 시작된 것으로 알려졌다.

AI 크롤러는 웹사이트를 방문해 텍스트와 코드, 이미지 등의 데이터를 수집하고, 이는 대형언어모델(LLM)의 학습에 활용된다. 데이터가 정확할수록 AI의 답변 품질은 높아지지만, 잘못된 정보가 섞이면 모델 성능은 오히려 저하된다.

데이터 중독은 여러 형태로 발생할 수 있다. 공개 웹사이트에 있는 오류 있는 코드나 사실과 다른 정보에서 비롯될 수도 있고, 학습 데이터를 의도적으로 조작하는 방식도 있다.

예를 들어 '사일런트 브랜딩(Silent Branding)' 공격은 이미지 데이터에 브랜드 로고를 몰래 넣어 생성 AI가 특정 브랜드를 반복해서 보여주도록 만드는 방법이다.

포이즌 파운틴은 지난해 10월 앤트로픽이 발표한 데이터 중독 관련 연구에서 영감받았다고 밝혔다. 이 논문은 소수의 악성 문서만으로도 AI 모델 품질을 의미 있게 저하할 수 있다는 점을 보여주며, 데이터 중독 공격이 기존에 생각했던 것보다 훨씬 현실적이라고 강조했다.

이 프로젝트를 제보한 인물은 현재 AI 붐의 중심에 있는 미국의 한 대형 기술 기업에서 일하고 있다는 이유를 들어 익명을 요구했다. 이 관계자는 "AI의 약점이 얼마나 쉽게 악용될 수 있는지를 알리고, 사람들이 스스로 정보 무기를 만들도록 장려하는 것이 목표"라고 설명했다.

현재 이 활동에는 최소 5명이 관여하는 것으로 전해졌으며, 이 가운데 일부는 다른 대형 AI 기업에 몸담 인물들로 알려졌다. 이들은 여러 사람이 참여하고 있다는 사실을 입증하기 위해 조만간 암호 서명(PGP)을 공개하겠다고 밝혔다.

포이즌 파운틴 웹사이트는 AI에 대한 적극적 저항이 필요하다고 주장한다. 사이트에는 "우리는 제프리 힌턴의 견해에 동의한다. 기계 지능은 인류 종에 대한 위협"이라며 "이 위협에 대응하기 위해 기계 지능 시스템에 피해를 입히려고 한다"는 문구가 실려 있다.

실제로 사이트에는 AI 학습을 방해하기 위한 두개의 URL이 게시돼 있는데, 하나는 일반 웹 주소이고 다른 하나는 차단이 어려운 다크웹의 '.onion' 주소다.

프로젝트는 방문자들에게 "중독된 학습 데이터를 캐시하고 재전송해 전쟁에 기여하라" "웹 크롤러에 악성 데이터를 제공하라"라고 공개적으로 호소하고 있다. 이 데이터에는 미묘한 논리 오류와 버그를 포함한 잘못된 코드가 담겨 있으며, LLM이 이를 학습할 경우 성능이 손상되도록 설계됐다.

이번 움직임은 규제 논쟁과도 맞물려 있다. 제프리 힌턴 토론토대학교 교수를 비롯한 AI 비판론자와 시민단체들은 수년간 AI 위험성을 경고해 왔지만, 미국을 중심으로 한 규제는 여전히 미약하다. 반면, AI 기업들은 규제 강화를 막기 위해 막대한 로비 자금을 투입하고 있다.

포이즌 파운틴을 지지하는 이들은 "규제는 이미 늦었다"라고 주장한다. 기술이 전 세계에 퍼진 이상, 법으로 막는 것은 실효성이 없으며 남은 선택지는 '무기화'뿐이라는 논리다. 한 참여자는 "데이터 중독 공격은 모델의 인지적 무결성을 훼손한다"라며 "이 기술의 진격을 멈출 수 없다면, 최소한 약화하는 수단이라도 마련해야 한다"라고 말했다.

한편, 일부에서는 AI 모델이 이미 '모델 붕괴' 단계에 접어들고 있다고 지적한다. AI가 생성한 저품질 콘텐츠, 이른바 'AI 슬롭(slop)'과 합성 데이터가 다시 학습 데이터로 사용되면서 오류가 증폭되는 악순환이 벌어진다는 것이다. AI 기업들이 위키피디아처럼 편집 품질이 관리되는 사이트와 데이터 사용 계약을 맺으려는 이유도 여기에 있다.

데이터 중독은 허위 정보를 중심으로 한 정보전과도 경계가 겹친다. 뉴스가드는 지난해 8월 보고서를 통해 "LLM이 러시아의 조직적 허위 정보 작전을 포함한 오염된 온라인 생태계에서 정보를 끌어와 신뢰할 수 없는 출처를 사실로 취급하고 있다"라고 경고했다.

연구진들은 AI 붕괴 위험을 두고 의견이 엇갈리지만, 한 연구는 2035년경 AI가 자신을 잠식하는 상황이 올 수 있다고 전망했다. 일부에서는 AI 거품이 꺼지면 이런 위험도 자연스럽게 줄어들 것으로 보고 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>