손에 담배 든채 입에 갖다댄 순간 … AI가 "유해성 98%" 경고

틱톡 관계자가 싱가포르의 '틱톡 싱가포르 투명성 및 책임 센터(TAC)'에서 유해콘텐츠 선별 과정을 설명하고 있다. 싱가포르 황순민 기자

수십억 명이 사용하는 사회관계망서비스(SNS)를 중심으로 기하급수적으로 확산하는 '유해 콘텐츠'가 전 세계적인 골칫거리로 떠오르고 있다. 특히 유해 콘텐츠는 최근 인공지능(AI) 기술 발달로 훨씬 더 교묘해지고 확산 속도가 빨라지는 특징을 띤다. 글로벌 SNS 플랫폼은 유해 콘텐츠 제작자·유통망과 창과 방패의 전쟁을 치르고 있다. 유해 콘텐츠 식별·탐지·삭제가 서비스 운명을 가를 중요 이슈라는 판단에서다.

지난 6일 싱가포르 원래플스키에 있는 틱톡 '투명성과 책임 센터(TAC)'에서 만난 틱톡 관계자는 "AI를 활용해 유해 콘텐츠를 판별·자동 삭제하는 기술을 개발해 실제 적용하고 있다"고 밝혔다.

이날 틱톡은 매일경제신문을 비롯한 국내 3개 언론사에 최초로 'TAC'를 공개했다. 틱톡은 보안 투명성에 대한 우려와 딥페이크 등 유해 콘텐츠가 틱톡 플랫폼을 중심으로 확산된다는 지적 등을 받자 회사의 플랫폼 관리 및 유통 프로세스를 투명하게 공개하기 위해 TAC를 열었다. 싱가포르 TAC는 틱톡이 미국 로스앤젤레스(LA), 아일랜드 더블린에 이어 지난해 10월 세 번째로 세운 투명성·책임 센터로 이용자가 월등히 많은 아시아 지역을 관장하고 있다.

틱톡에 따르면 이 회사는 지난해 3분기 1억3653만여 건의 영상을 유해 콘텐츠로 판명해 삭제했는데, 이 중 65%를 AI가 적발했다. 콘텐츠를 식별하는 기준은 틱톡이 정해 놓은 규정(커뮤니티 가이드라인)이 기본이 된다. 여기에 더해 구체적으로 AI가 △폭력 △음주 △흡연 △극단주의 등 여러 영역에서 유해성 여부를 판별한다. 가령 과도가 등장하는 영상의 경우 단순히 사과를 깎는 행위는 AI가 안전하다고 판단하지만 과도로 팔을 긋는 등 자해를 연상시키는 행동은 AI가 '위험영상'으로 인식해 자동으로 삭제하는 식이다. 이날 TAC에 마련된 실시간 영상 기기 앞에서 담배를 피우는 시늉을 하자 AI가 이를 즉각 인식해 유해성 수치가 2%에서 98%까지 올라갔다.

AI가 거르지 못하는 유해 콘텐츠의 경우 사람이 판별해 이를 삭제한다. 틱톡은 전 세계적으로 4만여 명의 전문 심사역(신뢰·안전 전문가)을 고용해 플랫폼에 올라온 콘텐츠를 식별하고 있다. 1단계 AI 식별에 이어 2단계로 4만명의 인력이 실시간으로 영상을 판독해 △삭제 △계정정지 △알고리즘 배제 △차단 등의 조치를 내리는 구조다. 특히 글로벌 플랫폼의 특성상 문화나 관습이 국가별로 상이하기 때문에 각각 다른 기준을 적용하고 있다는 설명이다.

틱톡은 '숏폼(짧은 영상)' 대중화를 선도하며 전 세계적으로 가장 많은 사용자를 보유한 소셜미디어 중 하나로 자리매김했다. 전 세계적으로 월간활성이용자(MAU)가 16억명이 넘는 수준이다. 글로벌 데이터·분석 플랫폼 data.ai에 따르면 지난해 1분기 틱톡은 단일 분기 소비자 지출 10억달러를 돌파한 최초의 애플리케이션(앱)이 됐다.

이러한 가운데 최근 전 세계적으로 화두가 된 딥페이크 영상 확산은 최근 틱톡에 상당한 리스크로 작용하고 있다. 전 세계적으로 사용자가 수십억 명에 달하는 글로벌 소셜미디어가 딥페이크와 가짜뉴스가 유통되는 주된 창구가 되고 있다는 지적이 제기되면서다.

현재 틱톡은 정치 광고를 게재하지 않는다는 방침을 고수하고 있다. 하지만 최근 딥페이크를 활용한 정치 콘텐츠가 틱톡을 비롯한 주요 글로벌 SNS를 중심으로 올라오고 있다. 특히 딥페이크는 전 세계에서 독버섯처럼 퍼지고 있다. 기술 혁신 속도가 빨라 딥페이크가 속수무책으로 확산되는 것이 특징이다.

틱톡 관계자는 "틱톡은 기본적으로 표현의 자유를 중요시하는 플랫폼"이라면서 "허위정보를 식별·차단하는 기술을 갖춰 밸런스를 맞추는 것에 회사 차원에서 많은 노력과 고심을 하고 있다"고 말했다.

유럽연합(EU)은 지난해 8월 유해·불법 콘텐츠 확산을 막기 위해 월간 사용자 수 4500만명 이상인 빅테크를 대상으로 디지털서비스법(DSA)을 시행했다. 이 법에 따라 SNS 플랫폼은 유해·불법 콘텐츠를 신속히 제거하고 예방할 수 있는 시스템을 마련해야 하며, 위반 시 연간 글로벌 수익의 최대 6%를 과징금으로 부과받을 수 있다.

현재 틱톡은 틱톡 앱에 있는 생성형 AI 도구를 활용해 만든 콘텐츠의 경우 자동 라벨링(AI 제작 표식)을 하고 있다. 하지만 외부 도구로 만든 AI 영상의 경우 식별·표식 부착 기능을 제공하지 않고 있다. 이에 대해 이날 TAC에서 만난 틱톡 관계자는 "타사의 생성형 AI 도구로 생성된 콘텐츠를 식별하고 라벨링하는 기술 개발에도 노력을 기울이고 있다"면서 "딥페이크 탐지·식별 문제는 글로벌 기업들의 공통된 노력과 추진이 필요하다"고 말했다.

한편 최근 틱톡은 어수선한 상황을 겪고 있다. 틱톡이 모회사인 중국 바이트댄스와 분리되지 않을 경우 미국에서 퇴출시키는 법안이 미국 하원에서 통과됐기 때문이다. 이달 13일(현지시간) 하원은 투표를 통해 해당 법안을 찬성 352표, 반대 65표로 통과시켰다. 현재 하원의 다수당은 공화당이다. 법안이 발효되면 바이트댄스는 6개월 내에 틱톡의 미국 사업을 매각해야 하며, 그렇지 않으면 미국에서 틱톡을 내려받는 것이 금지된다.

하원에서 통과된 법안은 상원에서 통과돼야 한다. 정보기술(IT) 업계에서는 통과될 가능성은 아직 불투명한 것으로 보고 있다. 이와 관련해 쇼우지 추 틱톡 최고경영자(CEO)는 틱톡의 X 계정과 틱톡 공식 계정에 올린 동영상에서 "틱톡이 사라지면 30만개의 미국 일자리가 사라지고 크리에이터와 중소기업이 수백만 달러의 피해를 볼 것"이라고 호소했다.

틱톡은 하원 상임위에서 법안이 통과된 후 미국 내 1억7000만명 이상의 사용자에게 푸시 알림을 보내 잠재적인 금지 조치에 대해 담당자에게 전화해 줄 것을 촉구했다. 추 CEO는 "여러분과 함께 구축한 이 놀라운 플랫폼을 보호하기 위해 법적 권리 행사를 포함해 할 수 있는 모든 것을 계속할 것"이라고 밝혔다.

[싱가포르 황순민 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]