‘음성 전문가’ 성원용 교수 “사람들은 자막대로 듣는다… 악의적 데이터 조작”

성원용 서울대 명예교수 “尹 뉴욕발언 문제의 핵심은 ‘데이터 변조’”

윤석열 대통령이 지난 22일(한국 시각) 뉴욕에서 열린 글로벌 펀드 회의를 마치고 퇴장하는 길에 박진 외교부 장관과 대화하고 있다. MBC는 이 장면을 보도하면서 윤 대통령이 “국회에서 이 XX들이 승인 안 해주면 바이든은 쪽팔려서 어떡하나?”라고 말했다는 자막을 달았다. /MBC 뉴스

윤석열 대통령의 ‘뉴욕발언 논란’을 두고 정치권의 갑론을박이 심화되고 있는 가운데, 성원용 서울대학교 전기·정보공학부 명예교수는 “문제의 핵심은 데이터 변조”라고 했다. 성 교수는 오랜 기간 음성인식 연구를 해왔다. 2018년 ‘구글 AI 집중연구 어워즈’에서 음성인식 관련 연구로 수상한 바 있다.

성 교수는 지난 29일 자신의 페이스북을 통해 “엉터리 자막은 음성 편집 변조와 비슷한 역할을 한다. 데이터 변조는 사소한 것이라도 용인되어서는 안 된다”며 이 같이 밝혔다.

성 교수는 “왜 어떤 사람에게는 ‘바이든’이라고 들리는데, 다른 사람에게는 그렇지 않게 들릴까”라며 “나의 경우, 그 소리를 직접 여러 번 들었는데, 절대 저렇게 들리지 않는다”고 했다. 이어 “당연 ‘바이든’이라고 듣는 사람들의 귀가 더 예민하다 믿을 근거는 없다. 나는 오랫동안 음성인식을 연구했는데, 음성인식은 단지 귀에 들리는 소리에만 의존하지 않는다. 왜냐하면 사람들의 발음이 너무 엉터리이기 때문”이라고 덧붙였다.

성 교수는 “윤 대통령의 뉴욕 발언은 매우 잡음이 많고 불분명한데, 여기에 MBC는 자의적으로 자막을 달아서 송출했다”며 “대부분의 사람들은 이 자막대로 듣는다. ‘소리’를 따라 듣지 않고, ‘자막’을 따라 듣는다. 자막은 매우 선명한 사전정보 역할을 하기 때문”이라고 했다. 이어 “’바이든’이라고 들린다는 사람이 많은데, 이미 자막을 보았기 때문”이라며 “대통령의 발언을 자동음성인식기에 넣어봤는데 내가 시험한 어떤 음성인식기에서도 ‘바이든’이라는 단어를 찾을 수 없었다”고 했다. 가장 정확한 네이버 클로버 음성인식기에서 나온 답은 ‘신인 안 해주고 만들면 쪽팔려서’였다고 한다.

그는 “연구자 윤리에서도 데이터 변조는 최악의 위반으로 간주한다”며 “물론 대통령이 사용한 일부 단어는 좀 거칠다 생각할 수도 있지만, 엉터리 자막 편집과 비교할 사항이 아니다”라고 했다. 그러면서 “무엇보다도 야당이나 일부 언론도 이 사항을 가지고 MBC를 옹호할 일이 아니다. 데이터변조가 언론의 자유와 혼동이 된다면 정직과 투명, 논리적 설득이 아니라 거짓말과 술수, 선동이 난무하는 세상이 될 것”이라고 주장했다.

성 교수는 다음날 올린 또 다른 글에서 “해리스 부통령이 방한한 자리에서 최근 MBC가 자막을 붙여 송출한 윤대통령의 바이든 모욕논란을 disinformation이라 하였는데, 정확한 단어 선택”이라고 했다. 그는 “엉터리 정보는 두 가지로 쓸 수 있다”며 그 예로 misinformation(고의성이 없는, 실수로 잘못 알려진 정보)과 disinformation(고의성이 있는, 악의적 엉터리 정보)을 들었다.

그러면서 “자막을 엉터리로 붙인 것은 고의성이 있는 악의적 데이터 조작”이라며 “국민들의 60%가 바이든으로 들린다 하는데, 내가 어제 설명한 것처럼 이미 자막을 보았기 때문”이라고 강조했다. 그는 이를 “자막조작의 위험을 보여주는 데이터”라고 설명했다.

이어 “이러한 disinformation을 통렬하게 비판해야 할 기자들이 윤대통령 사과론을 주장한다는 것은 참으로 애석하게 생각한다”며 “내용이 거짓은 못보고, 그냥 옷 매무새나 시비거는 꼴”이라고 했다. 끝으로 그는 “disinformation에 관대한 사회는 결국 선동의 희생양이 된다”고 덧붙였다.

[박선민 기자]

- Copyrights ⓒ 조선일보 & chosun.com, 무단 전재 및 재배포 금지 -