서울시, 아동성착취물 AI로 90초 만에 찾아 삭제…전국 최초 도입

'아동·청소년 성착취물' AI 기술로 판별, 선제적 삭제

아동·청소년 디지털 성범죄 피해 지원 1년 새 7배 ↑

안면인식 기술로 아동·청소년 판별…키워드 검색 확대

기존 모니터링 건수 2배인 30만건까지 모니터링 가능

[서울=뉴시스][서울=뉴시스]서울시는 AI 기술을 활용해 '아동·청소년 성착취물'을 판별한 뒤 선제적 삭제에 나선다고 22일 밝혔다. 아동·청소년 성착취물을 특정할 수 있는 AI 감시 기술을 개발해 도입하는 것은 전국에서 처음이다. (사진=서울시 제공). 2024.05.22. photo@newsis.com

[서울=뉴시스] 조현아 기자 = #1. 지난해 9월 중학생 A(16)씨는 용돈이 부족해 아르바이트를 구하다 SNS에서 대화 1건당 70원을 준다는 광고를 보고 채팅 아르바이트를 시작하게 됐다. 처음에는 일상적인 대화를 이어나갔지만, 가해자는 '사진 1건당 5만원', '영상통화 1건당 20만원'을 줄테니 속옷 입은 사진을 보내 달라고 요청했고, 계속적으로 노출이 더 심한 사진을 보내 달라고 압박했다.

A씨는 '부모님께 알리겠다'는 가해자의 협박에 어쩔 수 없이 여러 장의 사진을 보냈지만, 가해자는 사진만 받고 잠적해버렸다. 이후 서울 디지털 성범죄 안심지원센터를 찾은 A씨는 AI를 통한 사진 삭제 지원을 받고 가해자 고소에 나서게 됐다.

서울시는 이처럼 AI 기술을 활용해 '아동·청소년 성착취물'을 판별한 뒤 선제적 삭제에 나선다고 22일 밝혔다.

아동·청소년 성착취물을 특정할 수 있는 AI 감시 기술을 개발해 도입하는 것은 전국에서 처음이다. 지난해 전국 최초로 AI 삭제지원 기술을 도입한 데 이어 아동·청소년 성착취 영상을 특정할 수 있는 기술을 개발한 것이다.

아동·청소년들은디지털 성범죄 피해를 입고도 부모님 등에게 알리기를 꺼리는 탓에 피해 영상물·사진 등이 빠르게 확산되는 경우가 많다.

시는 아동·청소년 피해 영상물은 당사자나 부모의 신고 없이도 삭제가 가능한 만큼 AI를 통해 빠르게 영상물을 찾아내고 삭제해 피해에 신속 대응한다는 계획이다.

디지털 성범죄 피해를 입은 아동·청소년들은 증가하고 있는 추세다.

서울 디지털 성범죄 안심지원센터가 지난 2022년 3월부터 올 3월까지 지원한 피해자 총 935명 중 10~20대는 가장 높은 비율을 차지하고 있다.

특히 아동·청소년 피해자는 2022년 총 50명으로 전체 피해자의 19.2%를 차지했으나 지난해 총 104명(22.2%)로 2배 이상 증가했다. 아동·청소년을 대상으로 한 디지털 성범죄 피해 지원도 같은 기간 2026건에서 1만5434건으로 7배 이상 증가했다.

피해 유형은 '온라인 그루밍' 68건(27.5%)이 대다수를 했고 유포·재유포 45건(18.2%), 유포불안 43건(17.4%) 순이었다. 최근에는 '불법 사진합성', 남성 청소년을 대상으로 한 '몸캠(몸+cam) 피싱', '나체사진 담보 불법대출' 등의 피해사례도 증가하고 있다.

연령대별 피해 유형은 다소 달랐다. 만 8세 미만에서는 온라인 게임으로 접근해 채팅을 하면서 나체사진 등을 요구하는 경우가 많았다. 만 8~13세 미만에서는 오픈 채팅방 등을 통해 접근해 '서열방', '노예놀이' 등을 통해 성적인 사진을 요구하는 피해 사례가 많았다.

[서울=뉴시스]서울시는 이처럼 AI 기술을 활용해 '아동·청소년 성착취물'을 판별한 뒤 선제적 삭제에 나선다고 22일 밝혔다. 아동·청소년 성착취물을 특정할 수 있는 AI 감시 기술을 개발해 도입하는 것은 전국에서 처음이다. (사진=서울시 제공). 2024.05.22. photo@newsis.com

지난 2월 B(15)씨는 '신생 서열방'이라는 열린 채팅방에 참여했다가 '신체검사(신검)'이 필수라는 방장의 요청에 신체사진을 보냈고, 이를 빌미 잡은 방장의 협박에 사진을 계속 보내는 피해를 입게 됐다. 초등학생 C(11)는 오픈 채팅방에서 '노예놀이를 하자'며 접근한 가해자로부터 노출사진이나 영상물 등을 요구 받기도 했다.

가해자들은 온라인 공간에서 정서적 지지를 해주거나, 원하는 것을 해준다는 조건으로 피해자를 길들이면서 사진이나 영상물을 착취하는 방식으로 범죄를 벌였다. 피해자들이 사진을 보내지 않으면 이를 부모님에게 알리거나 유포하겠다고 협박하며 더 많은 사진을 요구했다.

온라인에서 그치는 것이 아니라 '그루밍(길들이기)'을 통해 오프라인에서 성폭력 범죄를 일으킨 사례도 12건에 달했다. 온라인 그루밍으로 아이들을 유인한 뒤 아동.청소년 성착취물을 제작, 'N번방' 사건 처럼 SNS(사회관계망서비스)와 텔레그램에서 홍보판매하는 범죄가 지속 발생하고 있는 상황이다.

시는 이번에 개발한 AI 감시 시스템으로 아동·청소년 피해 영상물을 찾아내 빠르게 삭제에 나선다는 방침이다. 이 시스템은 AI 딥러닝 기반의 안면인식 기술로 성인과 잘 구분되지 않는 아동·청소년의 성별과 나이를 판별할 수 있는 시스템이다.

영상물에 얼굴이 나오지 않더라도 아동·청소년 피해 영상물 여부를 찾아낼 수 있다는 게 특징이다. AI가 피해 영상물에 자주 등장하는 책, 교복, 인형 등 주변 사물은 물론, 이미지 속 텍스트, 청소년들이 주로 사용하는 언어까지 함께 인식해서 최종적으로 피해 영상물 여부를 판별하게 된다.

피해 영상물을 검출하는 데 사용하는 키워드도 다양해진다. 예컨대 기존에는 삭제지원관이 '딥페(딥페이크의 약자)'로 검색을 했다면 AI는 '뒵페' '뒷페' 등 신조어 자동 생성을 통해 기존 대비 3.3배에 달하는 100개의 키워드를 활용해 피해 영상물을 찾아낼 수 있게 된다.

키워드 입력부터 영상물 검출까지 걸리는 시간은 90초 정도로 기존 삭제지원관이 수작업으로 찾아내는 데 걸리는 시간(2시간)과 비교해 빨라질 전망이다. 정확도도 300% 이상 향상된다.

이렇게 되면 지난해 수작업으로 이뤄진 모니터링 건수 15만건의 2배인 30만건까지 모니터링이 가능해질 전망이다. AI 학습 데이터가 축적될수록 정확도와 속도는 더욱 향상될 것이라는 기대다.

미국을 중심으로 유포됐던 피해 영상물이 최근 중국, 러시아, 베트남 등으로 확산되고 있는 상황을 감안해 국가 기반 검색 영역도 확장했다. 국내와 미국뿐 아니라 중국, 러시아 등의 국가에 유포된 피해 영상물 검색도 가능해진다.

디지털 성범죄 피해를 입은 아동·청소년, 시민 등은 센터 상담전용 직통번호 '815-0382(영상빨리)', '홈페이지(www.8150382.or.kr)'로 문의하면 된다.

김선순 서울시 여성가족정책실장은 "우리 사회를 충격에 빠트린 n번방 사건 이후 4년이 흘렀지만 여전히 아동·청소년을 대상으로 한 디지털 성범죄는 사라지지 않고 있고 그 피해도 심각하다"며 "아동·청소년 성착취 영상을 특정할 수 있는 기술을 통해 선제적인 감시·삭제에 나서겠다"고 말했다.

☞공감언론 뉴시스 hacho@newsis.com

▶ 네이버에서 뉴시스 구독하기
▶ K-Artprice, 유명 미술작품 가격 공개

<저작권자ⓒ 공감언론 뉴시스통신사. 무단전재-재배포 금지.>