[신년기획-新사이버 위협①] AI로 훔치고, 딥페이크로 속인다

[서울=뉴시스]

[편집자주]디지털 기술 발전은 우리의 삶을 편리하게 만들지만 동시에 이를 악용한 사이버 위협도 갈수록 커지고 있다. 지난해 발생한 주요 사이버 보안 사고들은 이러한 위협이 단순히 기술적인 문제가 아니라 우리의 일상과 사회 전반에 악영향을 미치고 있음을 보여준다. 올 한해 대두될 신종 사이버 위협과 이에 대한 대응 방안들을 조망해봤다.

[서울=뉴시스] 오동현 기자 = #. 2024년 2월 한 다국적 금융기업에서는 직원이 AI로 생성된 가짜 화상회의에 노출돼 2억 홍콩달러(약 340억원)를 이체하는 사건이 발생했다. 피해자는 생성형 AI로 만들어진 직장 동료의 목소리와 외모에 감쪽같이 속았다.

#. 2024년 5월 일본에서는 AI를 활용해 컴퓨터 바이러스를 제작한 20대가 체포됐다. 이 범죄자는 IT 관련 지식이 거의 없었지만, 생성형 AI를 사용해 바이러스 소스코드를 얻고 그 정보를 조합해 랜섬웨어를 제작한 것으로 알려졌다.

위 사례는 모두 생성형 인공지능(AI) 기술을 악용했다는 공통점이 있다.

AI의 발전은 사회 전반에 걸쳐 다양한 긍정적 영향을 미치고 있지만, 동시에 해커들의 공격 도구로 악용될 수 있다는 점에서 경고의 메시지가 나온다. AI를 악용한 랜섬웨어·피싱 공격은 더 고도화되고, 딥페이크는 더 정교하고 초개인화되면서 각별한 주의가 요구된다.

과학기술정보통신부와 한국인터넷진흥원(KISA)은 '2025년 사이버위협 전망' 보고서를 통해 생성형 AI 모델을 악용한 사이버 보안 위협이 더욱 늘어날 것이란 점을 경고했다.

다크웹에서 거래되는 '사기GPT', '웜GPT'…누구나 해커가 될 수 있다

돈만 내면 초보자도 사이버 공격을 할 수 있도록 돕는 AI 서비스까지 나왔다. 목적 자체가 불법적인 '사기GPT(FruadGPT)', '웜GPT(WormGPT)'와 같이 사이버 범죄에 특화된 악성 AI 도구가 다크웹 등을 통해 유통되고 있어 이를 기반으로 한 사이버 위협도 증가할 것으로 전망된다.

'웜GPT'는 피싱이나 BEC(이메일을 통해 회사의 기밀 정보를 누설하도록 유도하는 사이버 범죄) 공격을 수행하기 위한 목적으로 개발된 AI 모델이다. 네트워크를 통해 자동으로 확산돼 악성 공격을 감행함으로써 기업의 IT 인프라에 막대한 피해를 입힐 수 있다. '사기GPT'는 금융 사기를 목적으로 개발된 AI 모델로, 악성코드 작성 및 피싱 페이지 생성 등을 통해 개인정보를 탈취하고 금전적 손실을 유발하는데 악용된다.

챗GPT를 악성코드 작성에 사용했다고 해외 사이버범죄 조사기관들이 보고했다. *재판매 및 DB 금지

IBM의 '2023 데이터 유출 비용 연구 보고서'에 따르면 이미 2023년 다크웹 포럼에서 AI와 GPT에 관한 80만개 이상의 게시물이 관찰됐고, 이러한 신기술이 사이버 공격자들의 관심을 끌고 있다는 점이 확인됐다.

챗GPT를 악용한 사례도 발견됐다. 2023년 11월 중국에서는 랜섬웨어 공격을 통해 약 2700만원 상당의 가상자산을 요구한 해커 4명이 경찰에 붙잡혔다. 이들은 오픈AI의 챗GPT를 악용해 랜섬웨어의 기능을 개선하고 취약점을 스캔한 것으로 전해졌다.

SK쉴더스에 따르면 해커들은 챗GPT를 랜섬웨어를 유지하고 보수하는데 사용하기도 한다. 챗GPT외에도 구글의 AI 챗봇 '바드(Bard)'의 다크웹 버전인 다크바트(DarkBart) 등이 추가로 확인되고 있다.

챗GPT나 바드 같은 AI 챗봇은 간단한 에세이는 물론 영화 시나리오나 동화책, 편지도 쓸 수 있는 뛰어난 언어 구사 능력을 지니고 있다. 해커들은 이를 악용해 공격에 사용할 악성코드와 자연스러운 피싱 페이지를 생성한다. 이로 인해 기존에도 구분하기 어려웠던 피싱 페이지가 더욱 정교해지면서 더욱 많은 피해가 발생할 것으로 우려되는 상황이다.

AI 모델의 개발과 활용에 있어서 기업의 데이터 보안 문제도 중요한 이슈로 떠오르고 있다. AI 시스템의 정확성과 효율성을 높이기 위해 대량의 데이터를 수집하고 저장하는 과정에서 발생할 수 있는 보안 취약점은 개인정보 유출과 같은 심각한 문제를 초래할 수 있다. 이는 기업의 명성에 치명적인 영향을 미칠 수 있으며, 불법 데이터 거래를 촉진하는 결과로 이어질 수 있다.

이에 과기정통부는 "생성형 AI가 기업 내부 시스템과 연동돼 구축된 경우 민감 데이터의 노출과 오용 가능성이 커진다. 이에 따라 기업들은 안전한 생성형 AI 사용을 위해 도입 단계에서 보안을 내재화하고, 상시 모니터링 체계를 구축해 지속적으로 관리해야 한다"고 조언했다.

정치적 선전에 악용된 챗GPT…딥페이크 범죄도 심각

[제주=뉴시스] 파리올림픽 여자 사격 금메달리스트 오예진 선수가 딥페이크 범죄 근절 공익 영상을 제작했다. 사진은 제주경찰청 유튜브 '제주경찰마씸'에 게재된 영상. (사진=제주경찰청 제공) 2024.10.08. photo@newsis.com

딥페이크 기술을 악용한 성범죄 영상물을 제작, 유포하는 사례도 증가하고 있다. 이는 피해자의 실제 이미지나 비디오를 왜곡해 음란물을 생성하는 방식으로 피해의 심각성을 키운다. 방송통신심의위원회에 따르면 올해 7월 말까지 딥페이크 성범죄 영상물에 대한 시정요구 건수는 6434건으로 전년 1684건 대비 약 4배 증가한 것으로 나타났다.

신뢰받는 인물의 얼굴과 음성을 모방한 딥페이크 기반의 사회 공학적 공격도 점점 정교해지고 있다. 이렇게 만들어진 허위정보는 SNS(사회관계망서비스), 유튜브 등 인터넷을 통해 빠르게 확산돼 사회적 갈등과 혼란을 야기한다. 실제로 2024년 3월 도널드 트럼프 전 미국 대통령이 수갑을 차고 경찰에 연행되는 모습의 가짜 사진이 유포됐고, 프란치스코 교황이 명품 브랜드의 하얀 패딩 점퍼를 입은 가짜 이미지도 확산돼 논란이 됐다.

딥페이크 제작 도구는 무료 또는 저비용의 '플러그 앤 플레이(Plug & Play)' 방식으로 유통되고 있다. 이러한 도구의 대중화로 인해 개인 사용자부터 다양한 목적을 가진 공격자들에 이르기까지 접근성이 크게 증가했고, 이는 잠재적 위협 요소로 부각되고 있다.

러시아와 중국 등 일부 국가에서는 인터넷상 여론 조작 및 정치적 선전을 위해 챗GPT를 사용한 것으로 확인됐다. 오픈AI는 "공격자들이 자사 AI 서비스를 자주 악용하고 있다"고 인정하면서도 "AI를 활용한 획기적인 공격 기법은 보이지 않는다. AI가 보안 취약점을 스스로 찾고 공격하기 위해 익스플로잇(Exploit) 한다거나, 자동으로 공격을 진행하는 모습 등은 발견되지 않았다"고 전했다.

이처럼 AI를 악용하는 사례가 속속 발견되는 만큼 기업과 개인 모두 정보 보안에 각별히 신경써야 한다는 전문가들의 조언이 나온다. 무엇보다 "모든 것을 의심하고 확인해야 한다"는 점을 강조한다.

최상명 다크트레이서 이사는 "가장 중요한 것은 일상 속 보안 수칙을 잘 지키는 것"이라며 "한편으로 AI로 고도화된 사이버 범죄에 대응하기 위해 정부와 관련 산업에서 대응 기술을 함께 개발하는 등 공동의 노력을 기울일 필요도 있다"고 설명했다.

국내 보안업체 이글루코퍼레이션 관계자는 "딥페이크 탐지 기술을 고도화하는 동시에 사용자 대상 교육 프로그램을 강화해 효과적인 대비책을 마련하는 것이 시급하다"고 설명했다.

☞공감언론 뉴시스 odong85@newsis.com

▶ 네이버에서 뉴시스 구독하기
▶ K-Artprice, 유명 미술작품 가격 공개