“딥페이크 화상회의 속아 340억원 거액 송금”…SK쉴더스, 상반기 보안 트렌드·AI 보안 전략 공개

이재우 SK쉴더스 EQST/SI 사업그룹장(전무)이 2일 서울 중구 페럼타워에서 열린 ‘2024 상반기 보안 트렌드 및 안전한 AI 활용을 위한 보안 전략 공개’ 미디어 세미나에서 ‘2024년 상반기 유형별 침해사고 통계’에 대해 발표하고 있다. SK쉴더스 제공

생성형 인공지능(AI) 기술이 일반화되면서 ‘딥페이크’(AI 기반 인간 이미지합성기술) 해킹 공격 등이 새로운 사이버 위협으로 등장했다. 딥페이크로 구현된 화상회의에 속아 340억원의 거금을 송금한 사례도 있었다.

SK쉴더스(구 ADT캡스)는 2일 서울 중구 페럼타워에서 ‘2024 상반기 보안 트렌드 및 안전한 AI 활용을 위한 보안 전략 공개’ 미디어 세미나를 통해 올해 상반기 유형별 침해사고 통계를 공개했다.

이날 발표는 국내 최대 규모의 화이트해커 전문가 그룹인 SK쉴더스 ‘이큐스트’(EQST)가 상반기에 직접 경험한 사고 사례와 연구 결과를 토대로 분석한 내용을 바탕으로 진행됐다.

특히 이큐스트는 주목받고 있는 AI 거대언어모델(LLM)의 취약점을 이용한 공격 3가지를 시연하면서 보안 대책을 발표했다.

이큐스트는 가상자산 탈취와 딥페이크 해킹 공격 등이 올해 상반기에 화제가 됐다고 밝혔다. 지난 1월에는 전 세계적으로 사용되고 있는 ‘Ivanti VPN 솔루션’에서 제로데이 취약점이 발견돼 다양한 산업 분야에서 피해를 보았다. 2월에는 중국 정부 지원을 받는 것으로 알려진 ‘볼트 타이푼’이 미국의 주요 인프라 내부망을 공격했다는 사실이 밝혀졌다. 특히 딥페이크로 구현된 화상회의에 속아 340억원의 거금을 송금한 사례도 있었다고 이큐스트는 설명했다.

3월에는 공개 소스 ‘ZX Utils’에서 백도어가 발견됐고, 4월에는 LLM에 의해 작성된 악성 스크립트가 사용된 악성 메일 공격이 발생했으며, 5월에는 블록체인 기반의 게임 플랫폼이 해킹돼 300억원의 가상자산을 도난당하는 사건도 있었다.

업종별 침해 사고 통계. SK쉴더스 제공

이큐스트가 분석한 업종별 침해사고 발생 통계에 따르면 국내에서는 금융업을 대상으로 한 침해사고가 20.6%로 가장 높은 비중을 차지했다. 반면 국외에서는 러시아, 이스라엘 등 국제 분쟁으로 인해 정부와 공공기관을 대상으로 한 공격이 26.7%로 가장 높은 순위를 차지했다.

유형별 사고 발생 통계로는 취약점 공격이 45%로 가장 많이 발생했다. VPN, 라우터 등 네트워크 장비를 이용한 지능형 지속 위협(APT) 공격 때문으로 조사됐다. 인간의 심리를 이용해 기밀을 탈취하는 수법인 ‘소셜 엔지니어링’ 공격도 26%로 뒤를 이었다.

특히 이큐스트는 생성형 AI가 급속도로 발전하면서 AI가 가져올 수 있는 보안 위협에 관한 연구 결과도 발표했다. 우선 프롬프트 인젝션은 악의적인 질문을 통해 AI 서비스 내 적용된 지침이나 정책을 우회해 본 목적 이외의 답변을 끌어내는 취약점이다. 악성코드 생성이나 마약 제조 피싱 공격 등에 악용될 수 있다.

이호석 SK쉴더스 이큐스트(EQST) Lab 팀장이 2일 서울 중구 페럼타워에서 열린 ‘2024 상반기 보안 트렌드 및 안전한 AI 활용을 위한 보안 전략 공개’ 미디어 세미나에서 ‘안전한 AI 활용 방안’에 대해 발표하고 있다. SK쉴더스 제공

두 번째로 불완전한 출력 처리 취약점은 LLM이 생성한 출력물을 시스템이 적절하게 처리하지 못할 때 발생한다. 이는 다른 2차 공격으로 이어질 수 있다는 점에서 위험도가 높다. 예를 들어 공격자가 원격 접속 코드 실행 요청이 포함된 내용을 챗봇에 질문하고 챗봇이 원격 접속 코드를 실행하게 되면 공격자가 AI LLM 운영 서버에 접속해 중요 정보를 탈취할 수 있게 되는 방식이다.

마지막으로 이큐스트는 개인정보가 포함되거나 애플리케이션의 권한 관리가 미흡해 생길 수 있는 민감정보 노출 취약점을 분석하며 데이터베이스(DB) 정보를 탈취하는 공격을 시연했다. LLM 모델을 학습시킬 때 민감 정보 필터링이 미흡한 경우 LLM이 생성하는 답변에 학습된 민감정보가 출력될 수 있다는 점에서 학습 데이터에 가명 처리를 하거나 데이터를 검증하는 등의 추가적인 보완책이 필요하다고 이큐스트는 강조했다.

김병무 정보보안사업부장(부사장)은 “전 산업 분야에 AI 기술 접목이 확산하면서 이를 노린 보안 위협이 현실화하고 있어 이에 대한 체계적인 대비가 필요하다”고 했다.

인공지능(AI) 보안 점검표. SK쉴더스 제공

강윤혁 기자

▶ 밀리터리 인사이드

- 저작권자 ⓒ 서울신문사 -