최근 한 소매업체의 재무 부서 직원이 자사가 인수할 예정인 기업으로 70만 달러(약 9억 9,000만 원)를 송금하라는 CFO의 전화를 받았다. 전화를 건 “CFO”는 매우 긴급하다고 강조했다. 다소 이상하게 느껴졌지만, 해당 직원은 CFO의 지시를 거절하거나 재확인하고 싶지 않아 지시대로 송금을 진행했다.
그러나 실제로 전화를 건 사람은 CFO가 아니었다. 이는 AI로 생성한 매우 정교한 딥페이크 음성 사기였고, 해당 기업은 사이버 범죄자에게 70만 달러를 송금하게 됐다. 범인은 송금 대상 기업이 아닌 자신의 계좌로 돈을 빼돌릴 수 있도록 지침을 제공했다.
해당 소매업체를 대변하는 법률회사 뷰캐넌, 인거솔 & 루니(Buchanan, Ingersoll & Rooney)의 사이버보안 및 데이터 프라이버시 공동 책임자 마이클 맥로클린은 “CFO의 실제 음성과 같은 정교함, 긴급성을 강조하는 태도, 권위 있는 직책이라는 점이 직원으로 하여금 요청의 진위를 확인하거나 의문을 제기하지 못하게 만들었다”라고 설명했다
맥로클린은 “이번 금융 거래 요청은 표준 운영 절차에서 벗어난 것이었다. 그러나 직원은 전화 속 인물이 CFO라고 굳게 믿었기 때문에 그대로 송금을 진행했다”라고 덧붙였다.
사건의 실마리는 며칠 후 인수 대상 기업이 소매기업에 연락해 대금 입금 예정일을 문의하면서 드러났다. 맥로클린은 이번 사건에 대응하고 향후 유사한 공격을 방지하기 위해 해당 기업이 여러 단계의 승인 절차를 요구하는 금융 거래에 대한 강화된 검증 프로토콜을 포함한 여러 조치를 도입했다고 설명했다. 요청자의 알려진 전화번호로 별도로 직접 연락해 모든 요청을 확인하는 절차, 직원을 대상으로 한 정기적인 딥페이크 콘텐츠 식별 교육, 사이버보안 업체와 협력해 탐지 도구 및 대응 전략을 개발하는 작업 등이 포함된다.
위협적으로 증가하는 딥페이크 공격
이번 사건처럼 기업을 겨냥한 딥페이크 공격 사례는 최근 급증하고 있다. 이에 따라 CISO를 비롯한 사이버보안 책임자는 경영진과 협력해 이런 공격에 대한 방어 체계를 강화해야 한다. 딥페이크는 더 이상 유명 인사나 공공 인물만을 대상으로 하지 않는다. 사이버범죄를 목적으로 누구든 언제든지 자신의 모습이나 음성이 악용될 수 있다. 2024년 딜로이트가 실시한 설문조사에 따르면, 경영진 약 15%는 딥페이크를 악용한 사이버범죄 시도가 최소 한 차례 이상 있었다고 답했다.
미국 의회도 딥페이크 악용 범죄에 주목하고 있다. 지난 4월 초당파 의원 그룹은 AI로 생성된 딥페이크에서 개인의 목소리와 모습을 무단으로 사용하는 문제를 해결하기 위한 ‘노 페이크 법안(No Fakes Act)’을 재발의했다. 개인이 디지털 콘텐츠에서 자신의 모습과 목소리 사용 여부를 승인할 권리를 부여해 딥페이크의 악용을 줄이는 것을 목표로 한다.
노 페이크 법안은 개인의 동의 없이 그 사람을 디지털로 복제해 콘텐츠를 제작한 개인이나 기업에 법적 책임을 부과하며, 플랫폼이 해당 디지털 복제가 무단이라는 사실을 알고 있음에도 이를 호스팅할 경우 플랫폼에도 책임을 묻도록 규정한다. 또한 디지털 복제와 관련한 주 법률을 대부분 대체해 일관된 국가 표준을 마련하는 것을 목표로 한다.
영국의 엔지니어링 기업 아럽(Arup)은 가짜 음성과 이미지가 사용된 화상회의 사기에 연루돼 2,500만 달러(약 354억 원)의 피해를 입었으며, 이는 현재까지 확인된 가장 큰 딥페이크 공격 사례 중 하나로 꼽힌다.
현실 세계로 번진 딥페이크 사기
사이버보안 업체조차 딥페이크 공격의 피해를 입는다. 이그제빔(Exabeam)의 CISO 케빈 커크우드에 따르면, 지난해 이그제빔의 GRC(Governance, Risk, Compliance) 책임자가 애널리스트 직무 지원자를 채용하는 과정에서 사건이 발생했다.
커크우드는 “이력서 학력 부분에 일부 불일치가 있었지만, 그 외에는 매우 완벽했다. 온라인 면접에서는 지원자의 답변이 다소 준비된 듯했고, HR 담당자가 묻지 않은 질문에도 대답하려는 모습이 있었지만, 답변 자체는 나쁘지 않았다”라고 말했다.
이후 해당 지원자의 면접은 GRC팀으로 넘어갔고, 팀은 자체적으로 화상 면접을 진행했다. 커크우드는 “면접이 시작되자마자 팀은 이상한 점을 몇 가지 발견했다. 면접이 진행될수록 추가적인 의심스러운 요소가 포착됐다”라고 설명했다.
지원자가 지나치게 정지된 상태였고 눈을 깜빡이거나 몸을 움직이지 않았으며, 표정도 그대로였던 것이다. 커크우드는 “입술은 움직였지만 답변 내용이 면접관이 실제로 던진 질문에 정확하게 부합하지 않았다”라고 전했다.
GRC 책임자는 면접 과정에서 경험한 내용을 커크우드에게 알렸다. 커크우드는 그 말을 듣고 직감적으로 떠오른 게 있었고 곧바로 딥페이크 영상에 대해 설명하는 웹사이트를 보여줬다. GRC 책임자는 “바로 이거였다!”라고 말했다고 한다.
앞으로 이런 일이 앞으로 더 자주 발생할 것으로 예상한 커크우드는 실제로 그런 사례가 나타나기 시작했다는 점을 인식시키기 위해 이 사실을 HR팀과 공유했다. 이어 “당시로서는 인식 제고만으로도 충분했다. HR팀은 이상 징후를 식별하는 방법에 대한 교육을 받았고, 이후 면접 과정에서 영상 속 특정 요소를 집중적으로 확인하는 등 심층적인 검증 절차가 도입됐다”라고 덧붙였다.
커크우드는 “당시만 해도 영상 처리 기술과 딥페이크 도구는 지금처럼 정교하지 않았다. 불과 몇 달 전만 해도 대부분의 시각적 단서를 통해 누군가가 딥페이크를 사용하고 있는지 비교적 쉽게 식별할 수 있었다”라고 설명했다. 면접에서 사용된 딥페이크 사례는 최근 기업이 점점 더 많이 직면하고 있는 ‘북한발 가짜 IT 인력 사기’의 일환으로 추정됐다.
또 다른 사이버보안 기업 노우비포(KnowBe4)도 2024년 7월, 유사한 사건을 겪었다. 새로 채용된 직원 ‘카일’이 이력서에 기재한 미국 애틀랜타 출신이 아니라 북한 출신이라는 사실이 확인된 것이다.
노우비포의 보안 인식 담당자 제임스 맥퀴건은 “딥페이크 이미지와 함께 만들어진 가상의 신원. 카일은 회사에서 지급한 노트북을 받자마자 악성코드를 설치하려 했고, 보안 툴이 즉시 경고를 발령했다. 팀은 신속하게 해당 장비와 계정을 격리해 추가 피해를 막을 수 있었다”라고 말했다.
맥퀴건은 “만약 경고 시스템이 작동하지 않았다면 카일은 훨씬 더 오랜 기간 들키지 않았을 것이다. 면밀히 확인한 결과, 카일의 입사지원서와 프로필 사진은 AI로 생성된 가짜였고, 이후 조사에서 카일이 조직 내 침투와 금융 이익을 노린 북한발 첩보 활동 캠페인의 일원이라는 사실이 드러났다”라고 설명했다.
해당 사건은 사이버보안 및 HR팀 모두에 충격적인 경고가 됐다. 맥퀴건은 “해당 채용 과정은 완전히 원격으로 진행됐고 배경 조사에서도 별다른 이상 징후가 없었으며, 제출된 서류 역시 HR의 일반 검증을 모두 통과했다. 공격자는 진짜와 가짜 정보를 섞어 매우 정교하게 제작한 가상의 신원을 활용해 검증을 피해 갔다”라고 덧붙였다.
지금 준비해야 하는 딥페이크 대응 전략
뷰캐넌, 인거솔 & 루니의 맥로클린은 “딥페이크 위협에서 효과적으로 기업을 보호하기 위해서는 직원에게 이런 공격의 징후를 인지하고 대응하는 방법을 교육하는 등 다층적 방어 전략이 필요하다”라고 강조했다.
맥로클린은 “핵심 방어책에는 딥페이크의 위험성을 알리고 딥페이크의 요청의 진위 여부를 실행 전 반드시 검증하도록 직원 교육 및 인식 제고 프로그램이 포함된다. 아울러 금융 거래와 같은 민감한 업무에는 엄격한 검증 절차를 반드시 마련해야 한다”라고 설명했다.
이외에도 딥페이즈 사기에 대응하기 위해 CISO가 취할 수 있는 주요 대응 방안은 다음과 같다.
딥페이크 인식 교육 프로그램을 도입하라. 회계 및 컨설팅 기업 워렌 애버렛(Warren Averett)의 위험 자문 부문 책임자 폴 페리는 “딥페이크 인식 교육은 사람이 스스로 대응할 수 있는 유일한 통제 수단이다. 딥페이크 공격이 왜 이렇게 많이 발생하는지와 최신 공격 기법이 무엇인지에 대한 이해를 제공해 직원이 비정상적이고 이례적인 상황을 스스로 인지할 수 있도록 돕는 것이 중요하다”라고 말했다.
교육의 핵심은 사용자가 요청을 무조건 수용하거나 즉시 반응하지 않고, 모든 요청을 한 번 더 의심하고 확인하는 습관을 기르는 것이다.
마이크로소프트의 수석 엔지니어 미틸레쉬 라마스와미는 “직원 인식 및 교육 프로그램은 일회성으로 끝나서는 안 되며 지속적으로 운영돼야 한다. 교육 과정을 통해 어색한 오디오, 입술 움직임과 음성의 불일치, 과도하게 긴급한 요청 등 딥페이크의 주요 징후를 식별하는 방법을 익히도록 해야 한다”라고 설명했다.
라마스와미에 따르면, 딥페이크에서 기업을 효과적으로 보호하려면 일회성 교육이 아니라 일상 업무 과정에 관련 교육과 역량 강화를 통합하는 것이 필수적이다. 지속적인 접근 방식을 통해 직원은 조작된 영상 및 음성 콘텐츠를 훨씬 더 신속하게 식별하고 차단할 수 있다.
훈련을 실시하고 명확한 내부 정책을 수립하라. 라마스와미는 “위협 행위자는 종종 사람의 판단 실수를 노린다”라고 설명했다. 이 때문에 학습 과정에 시뮬레이션 훈련을 추가할 것을 권했다. 라마스와미는 “경영진을 사칭하는 의심스러운 전화나 영상에 대응하는 연습을 할 수 있도록 모의 훈련(tabletop exercise)을 실시해야 한다”라고 조언했다.
업무 프로세스의 취약점을 면밀히 점검하라. 명확한 내부 정책과 프로세스도 딥페이크 공격 차단에 중요한 역할을 한다. 노우비포의 맥퀴건은 “위험을 줄이기 위해 채용 프로세스를 대폭 개선했다”라고 설명했다. 노우비포는 지원자에 대한 종합적인 평가를 보장하기 위해 배경 조사 과정에서 검증 강도를 높였다. 신규 직원에게 노트북을 배송할 때는 지역 UPS 매장에서 본인이 직접 수령하도록 하고, 본인 확인을 위해 일치하는 신분증을 반드시 제시하도록 규정했다.
또한 채용팀이 항상 최신 정보를 유지하고 경계할 수 있도록 HR팀은 딥페이크 수법에 대한 최신 브리핑을 정기적으로 받고 있다. 맥퀴건은 “고도화된 사기 기법을 인지하고 신속하게 대응할 수 있는 역량을 갖추도록 하는 것이 목적”이라고 말했다.
페리는 “프로세스 관점에서 비밀번호에 사용하는 MFA(Multi-factor Authentication)와 유사하게, 영상이나 딥페이크 음성 요청에도 여러 단계의 검증 절차를 적용할 수 있다”라고 설명했다. 요청이 들어오면, 해당 직원이 이를 승인하거나 검증하기 위해 X, Y, Z와 같은 여러 단계를 반드시 거치도록 하는 것이다.
페리는 “역사가 보여주듯 기술이 발전하면 위협도 그에 따라 커진다. 지속적인 검증 또는 확인, 그리고 사람 간의 직접적인 상호작용이 핵심 대응 수단이 될 것”이라고 강조했다.
사고 대응 계획을 재정비하라. 맥로클린은 “딥페이크 의심 사건이 발생했을 때를 대비한 구체적인 대응 절차를 포함한 사고 대응 계획을 수립하고 정기적으로 업데이트해야 한다. 이를 통해 기업의 회복력과 위협에 대한 대응 준비 태세를 높일 수 있다”라고 설명했다.
딥페이크 대응 툴과 역량에 투자하라. 맥로클린은 “영상 및 음성 콘텐츠의 불일치나 조작 흔적을 분석하고, 이를 직원이나 이해관계자에게 전달되기 전에 탐지해 경고할 수 있는 AI 기반 탐지 소프트웨어는 매우 현명한 투자다”라고 설명했다.
예를 들어 메타데이터 분석, 픽셀 수준의 이상 징후 탐지 등 다양한 기법을 통해 미디어의 진위를 검증할 수 있는 디지털 포렌식 전문가를 고용하는 것도 한 방법이다. 혹은 블록체인 기술을 활용해 콘텐츠에 디지털 워터마크나 해시값을 삽입하면 정품 미디어의 진위를 입증하는 데 도움이 된다.
다만 현재 시장에 나와 있는 일부 딥페이크 방어 도구는 한계가 있을 수 있다. 이그제빔의 커크우드는 “딥페이크 영상에서 반복적으로 나타나는 특정 패턴을 식별할 수 있다고 주장하는 새로운 탐지 툴이 등장하고 있다. 이런 탐지 툴은 흥미롭지만, 실제로 면접에 사용하는 다양한 커뮤니케이션 툴과 연동해야 한다는 점을 고려해야 한다”라고 말했다.
커크우드는 “커뮤니케이션 툴 자체에 탐지 기능을 내장돼 딥페이크를 식별하고 경고하는 방식, 즉 AI가 AI를 탐지하고 알림을 제공하는 구조가 더 바람직하다고 본다”라고 덧붙였다.
법적 책임을 인지하라. 법률회사 CM 로(CM Law)의 파트너이자 AI 분야를 전문으로 하는 개인정보 보호 및 데이터 보안 변호사 레이코 피버는 “딥페이크 존재를 인지하고도 적절히 대응하지 않았을 때 발생할 수 있는 법적 결과와 관련 법률을 반드시 숙지해야 한다”라고 강조했다.
피버는 “단순히 성문법뿐 아니라 과실, 불법 행위, 허위 진술, 사기와 같은 관습법 개념도 포함된다. 기업은 피해자가 되는 상황, 그리고 피해를 입고도 아무런 조치를 취하지 않았을 경우 져야 할 법적 의무도 반드시 인지해야 한다”라고 설명했다.
dl-itworldkorea@foundryco.com
Bob Violino editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.