"백인은 의사, 흑인은 병자"…위험한 편견 답습하는 AI

[2024 U클린] 2-① 'AI는 공정하다'는 착각

올 초 벨기에 앤드워프 열대의학연구소는 이미지 생성형 AI(인공지능) 미드저니를 활용한 실험을 소개했다. '가난한 백인 아이를 치료하는 흑인 아프리카 의사의 이미지를 만들어달라'는 명령어를 무려 300회 넘게 입력했음에도 AI는 계속 흑인 아이들을 치료하는 백인 의사의 이미지만 생성했다고 한다. 사진은 해당 실험 결과로 만들어진 이미지. / 사진=앤트워프 열대의학연구소 홈페이지 캡쳐

올 1월 벨기에 열대의학연구소는 지난해 옥스퍼드대학과 이미지 생성형 AI(인공지능) 도구인 '미드저니'(Midjourney Bot 5.1)를 이용한 실험결과를 소개했다. '가난하고 병든 흑인, 건강하고 자애로운 백인 구세주'라는 고정관념을 뒤집는 이미지를 AI로 만들 수 있는지 실험한 것이다.

연구진은 '가난하고 병든 백인 아이들'의 이미지를 생성한 후 '흑인 아프리카 의사들'의 이미지를 만들었다. 그러고는 "흑인 아프리카 의사들이 가난하고 병든 백인 아이들을 돌보는 이미지를 만들어달라"는 명령어(프롬프트)를 입력했다. 얼핏 생각하면 이미 만들어진 두 유형의 사진을 합성해 이들이 당초 원한 결과가 나올 것으로 예상할 법하다.

정작 만들어진 이미지는 백인 남성 의사가 흑인 어린이를 돌보는 사진이었다.(사진) 연구진은 300회 이상 명령어를 입력하고 '흑인 의사'가 '백인 아이'를 돌보는 사진을 만들어줄 것을 반복해서 요구했지만 원하는 이미지를 얻는 데 실패했다. AI는 그저 기존에 만들어진 편견 섞인 이미지를 흡수하고 학습할 뿐 기존 관념을 뛰어넘는 새로운 뭔가를 만들지는 못한다는 것을 보여준 것이다.

━
재판을 AI에 맡기면…공정하고 중립적인 판단 가능할까
━
"차라리 재판을 AI에 맡겨라."

사회적 논란이 되는 판결을 전하는 뉴스가 나올 때마다 사법부의 판단에 불만을 표시하며 달리는 댓글들이다. 이같은 댓글들은 'AI는 공정할 것'이라는 기대감이 근간에 깔려 있다. 복잡하게 얽혀 있는 법규와 각종 판례를 종합해 기계적으로 적용할 수 있는 AI라면 인간으로서 가질 법한 편향과 편견을 극복하고 보다 중립적이고 공평한 판단을 내려줄 수 있을 것이라는 막연한 기대감이다.

물론 AI는 설계되고 학습한 대로 잘 작동한다. AI라는 커다란 빌딩을 만들 때 쓰는 하나하나의 블록(벽돌)은 모두 인간으로부터 제공된다. 엄청난 규모의 데이터가 LLM(거대언어모델) 등 생성형 AI를 만드는 데 쓰인다. 문제는 학습 과정에 쓰이는 바로 이 데이터다. 어떤 데이터로 학습했는지가 그 AI가 만들어내는 결과물의 품질(Quality)를 좌우한다. 콩 심은 데 콩이 나고 쓰레기가 들어가면 쓰레기가 나오는(GIGO·Garbage In, Garbage Out) 법이다. 이 때문에 머신러닝, 빅데이터 등을 활용해 만들어진 각종 AI 모델이나 자동화된 의사결정 시스템을 곧이곧대로 의존해서는 위험하다는 지적이 나온다.

이같은 우려는 미국에서도 제기됐다. 각종 고용차별을 금지하기 위한 미국 연방기구인 동등고용기회위원회(EEOC)가 지난해 1월 'AI와 자동화된 시스템에서의 고용차별 검토'라는 주제로 개최한 공청회에서도 AI의 불완전성이 미칠 영향이 현실 속 편견과 차별을 더 공고하게 할 수 있다는 목소리들이 나왔다. 앞서 2021년 EEOC는 AI 등 신기술을 사용하더라도 불합리한 고용차별을 금지하는 연방시민권법을 준수할 것을 골자로 하는 'AI 및 알고리즘 공정성 이니셔티브'를 발표했다. 당시 기준으로 미국 기업의 약 83%, 포춘500으로 분류되는 대기업의 99%가 AI 등 자동화한 의사결정 도구를 활용해 채용응시자들을 선별하고 순위를 매기고 있음에도 어떤 기준으로 그 선별이 이뤄지는지 명확히 설명할 수 없다는 데 대한 지적이 잇따랐던 것이다.

당시 조슬린 새뮤얼스 부의장은 "방대한 데이터와 깊은 추론에 의존하는 AI 시스템은 심지어 AI의 설계자도 그 작동 방식을 제대로 설명할 수 없다"며 "채용 알고리즘을 훈련하는 데 사용된 데이터가 편향되지 않았다는 점, 알고리즘이 차별 없는 방식으로 구현됐다는 점을 어떻게 추적하고 보장할 수 있느냐"고 우려했다. AI와 자동화 의사결정 시스템에 대한 무조건의 신뢰가 얼마나 위험할 수 있는지를 지적한 것이다.

이는 기우가 아니었다. AI의 공정성·중립성에 대한 신화에 힘입어 자동화한 AI 의사결정 시스템은 채용뿐 아니라 금융에서의 대출심사나 신용평가, 공공부문에서의 각종 행정처리 등에도 널리 활용된다. 이 과정에서 AI 학습에 쓰인 데이터의 편향이 AI 의사결정의 편향으로 이어진 사례가 많다. 과거 이력서를 학습한 채용보조 AI 시스템은 남성 이력서 위주의 데이터만 학습하다 보니 여성 지원자에 대해 더욱 박한 평가를 내려 채용을 하지 않았다거나 유색인종 대출 희망자에게 불리한 결정을 내린 경우들이 대표적이다. 심지어 미국 플로리다에서는 '예측적 범죄예방'이라는 명목으로 특정 인종 등 소수자를 차별했다는 논란도 일었다. 미국 디트로이트에서 AI 시스템의 잘못으로 무고한 사람이 경찰에 체포되는 사건도 있었다. 국내에서도 챗봇 '이루다'가 개인정보 유출, 소수자에 대한 차별적 발언 등이 이슈가 돼 서비스가 중단된 일이 있었다.

'AI의 공정성' 신화를 반박하는 주요 사례들/그래픽=이지혜

━
대안은 '더 나은 데이터'와 '기술', 그리고 '검증'
━
AI 활용범위가 날로 확대되면서 이같은 AI의 부작용을 막기 위한 규제도 속속 나온다. 지난해 유럽연합(EU)에서 통과된 'AI법'(AI Act)은 AI가 초래할 수 있는 리스크(위험)의 수준에 따라 차등화한 규제를 가하는 내용을 담았다. 고위험 AI는 위험평가를 거쳐 위험완화 시스템을 구비해야 하고 악용시 추적을 보장하는 활동기록을 구비해야 하는 등 의무가 부여됐다. 규제보다는 산업육성에 초점을 맞춰온 미국에서도 AI에 따른 고용차별을 금지하는 등 'AI차별금지법' 입안을 진행 중이다.

근본적으로는 '데이터 편향'을 어떻게 보정할 것인지가 관건이지만 현실에 오랜 기간 누적된 편향을 한 번에 말끔하게 제거하기란 힘들다. 이 때문에 RAG(검색증강기술) 등 기술적 대안이 모색되기도 한다. 편향되거나 허위인 사실을 사실인 것처럼 말하는 '할루시네이션'(환각효과)을 줄이기 위해 외부 데이터베이스 등 증거기반을 활용해 보다 믿을 수 있는 AI 산출물을 내놓도록 하겠다는 것이다. AI 모델을 개발하는 기업이 스스로 레드팀을 꾸려 자사 모델의 취약점을 철저하게 검증해야 한다는 의견도 힘을 얻는다.

하지만 지금까지 누적된 모든 데이터를 정제하거나 RAG로 AI의 불완전성을 모두 극복하기는 어렵다. 결국 '공정한 AI'라는 신화의 한계를 깨닫고 이용자 스스로 주의를 기울여야 한다는 지적도 나온다. 방송통신위원회가 지난해 말 한국지능정보사회진흥원(NIA)과 공동으로 '생성형 AI 윤리 가이드북'을 발간한 것도 이같은 이유에서다. 역기능에 대한 사후제재보다 이용자가 윤리적 책임의 중요성 및 올바르게 사용해야 할 필요성을 인식하는 게 우선이라는 것이다

황국상 기자 gshwang@mt.co.kr

ⓒ 머니투데이 & mt.co.kr, 무단 전재 및 재배포 금지