[르포] “가위로 종이 자르는지, 위협하는지”… AI가 유해 콘텐츠 판단하는 틱톡

지난 11일(현지시각) 싱가포르 도심에 위치한 틱톡 ‘투명성과 책임 센터(TAC)’. TAC 관계자가 모니터와 연결된 카메라 앞에 나이프를 하늘을 향해 들고 서자, 모니터 속 ‘위험 도구 지수’가 72%로 치솟았다. 이 지수는 나이프를 들고 스테이크를 써는 시늉을 할 때는 한 자릿수에 불과했다. 인공지능(AI)이 사람의 동작과 배경을 포함한 ‘맥락’을 파악하고 나이프가 등장하는 동영상의 유해성 여부를 판단한 것이다.

싱가포르 틱톡 ‘투명성과 책임 센터(TAC)’ 내에 마련된 영상 기기. 모니터에 부착된 카메라에 칼을 갖다 대면 인공지능(AI)이 위험 지수를 판단한다./틱톡 제공

◇ AI로 유해 콘텐츠 걸러내고 2차 검증

이날 TAC에서는 틱톡이 AI를 활용해 어떻게 유해 콘텐츠를 판별하고 조치하는지 확인할 수 있었다. TAC는 틱톡 콘텐츠가 어떤 심사 단계를 거쳐 사용자들에게 조회되는지 직접 체험할 수 있는 공간이다. 싱가포르 TAC는 틱톡이 미국 로스앤젤레스(LA), 아일랜드 더블린에 이어 지난해 10월 세 번째로 마련한 곳으로, 아시아 지역을 관장하고 있다. 틱톡은 최근 미국 워싱턴DC에도 TAC를 개설했다.

틱톡은 1차적으로 AI를 통해 ▲위험 도구 ▲음주 ▲극단주의 ▲흡연 등 여러 영역에서 유해성을 판별한다. 종이를 자르던 가위는 AI가 안전하다고 판단하지만, 가위를 치켜들고 위협적인 자세를 취하는 행동은 유해 콘텐츠로 판단하는 식이다. 실제 극단주의 무장 단체인 IS의 깃발을 카메라에 비추면 극단주의 지수가, 하이네켄 맥주병을 갖다 대면 음주 지수가 올라갔다.

TAC 관계자는 “틱톡의 ‘커뮤니티 가이드라인’을 학습한 AI가 1000개 이상의 영역에서 텍스트, 비디오, 이미지 등을 다각도로 검토해 유해 콘텐츠를 판별한다”면서 “커뮤니티 가이드라인을 위반한 콘텐츠가 전 세계적으로 매일 200만개 삭제되고, 한국과 같은 일부 국가에서는 유해 콘텐츠의 90% 이상이 사람들이 조회하기 전 AI를 통해 삭제된다”고 설명했다.

틱톡 싱가포르 투명성 및 책임 센터(TAC)에서 관계자가 틱톡의 유해 콘텐츠 선별 과정을 설명하고 있다./싱가포르=김송이 기자

AI가 걸러내지 못한 콘텐츠는 ‘글로벌 신뢰안전팀’이라고 불리는 콘텐츠 심사 인력을 통해 재차 검증된다. 틱톡은 전 세계적으로 4만여명의 콘텐츠 전문 심사 인력을 고용, 자사 커뮤니티 가이드라인을 기준으로 유해 콘텐츠에 대해 삭제나 계정 정지, 알고리즘 배제 같은 조치를 내린다. 가이드라인은 ▲안전 및 시민 의식 ▲정신 및 행동 건강 ▲민감한 성인 테마 ▲진실성 및 진정성 ▲규제 대상 물품 및 상업 활동 ▲개인 정보 보호 및 보안 등 6가지 주제로 구성돼 있다.

◇ AI가 콘텐츠 추천, 생성형 AI 콘텐츠엔 ‘라벨링’

이날 TAC에서 커뮤니티 가이드라인을 보면서 영상 삭제 여부를 판단하는 작업을 직접 해봤다. 모니터에는 초등학생처럼 보이는 여자가 고양이와 함께 있는 영상이 나왔다. 얼핏 보기에는 아이가 고양이와 노는 것처럼 보였지만, 아이는 담배로 추정되는 물건을 빠르게 입에 물었다가 내렸다. 해당 영상 옆에는 틱톡의 커뮤니티 가이드라인 중 안전과 건강, 위험한 활동, 음주·흡연·마약 등 어떤 항목에 위배되는지 판단하도록 하는 선택지가 나타났다.

틱톡에 따르면 삭제되는 유해 콘텐츠의 약 65%는 AI가 적발한 것이고, 나머지 35%는 전문 심사 인력을 통해 삭제된다. TAC 관계자는 “국가마다 기준이 다른 ‘문화·관습을 거스르는 콘텐츠’의 경우엔 해당 국가에 전문지식이 있는 전문가가 심사하고 있다”고 했다. 틱톡은 지난해 4분기에만 1억7646만여건의 영상을 유해 콘텐츠로 판명해 삭제했다. 전년(8568만여 건) 대비 2배 가까이 늘어난 수준이다.

외부 생성형 AI를 활용한 콘텐츠에 대해 틱톡이 표시(라벨링)하는 방식./틱톡 제공

틱톡을 ‘숏폼(1분 내외의 동영상)’ 강자로 만든 맞춤형 피드에도 AI가 적용됐다. 틱톡 애플리케이션(앱)을 실행하면 8개 묶음의 영상으로 구성된 추천 피드가 표시되는데, AI가 좋아요 클릭, 영상 공유, 시청 시간 등 이용자의 데이터를 분석해 관심 가질 만한 영상으로 피드를 채운다. 틱톡은 이용자의 콘텐츠 편향을 방지하기 위해 이용자의 취향에 맞는 콘텐츠와 그렇지 않은 콘텐츠의 비율을 6대4로 맞춘다고 설명했다.

최근 AI를 활용한 딥페이크(가짜 동영상)가 콘텐츠 플랫폼의 골칫거리로 떠오르자 틱톡도 적극 대응에 나섰다. 틱톡 앱에 있는 생성형 AI 도구로 콘텐츠를 만들면 자동으로 AI가 만들었다는 표시(라벨링)가 되도록 하고 있다. 지난 5월부터는 외부 생성형 AI로 만든 콘텐츠에 대한 라벨링도 시작했다. 틱톡 관계자는 “콘텐츠 출처 및 진위 확인을 위한 연합(C2PA)과의 협력을 통해 외부 생성형 AI로 만든 콘텐츠에 포함된 메타데이터를 앱 내에서 감지하고 자동으로 라벨링하고 있다”고 말했다.

싱가포르=김송이 기자(grape@chosunbiz.com)

<저작권자 ⓒ ChosunBiz.com, 무단전재 및 재배포 금지>