[NSIS 2024①] AI시대, 당신의 상상을 넘는 새로운 위협이 온다

<디지털데일리>가 주최하는 차세대 보안 혁신 서밋 [NSIS 2024]가 오는 5월28일 서울 소공동 롯데호텔 사파이어볼룸에서 열립니다. 이번 행사의 주제는 ‘안전한 인공지능(AI) 시대를 위한 사이버보안 전략 및 방안’으로, 최신의 기술을 활용해 디지털 환경 보안을 강화하는 다양한 솔루션과 방법론을 논의하는 자리를 마련했습니다. 혁신 기술 등장은 보안 취약점을 확대시킬 수 있는 만큼, 디지털 기반 기술과 환경 변화에 따라 공공‧금융‧기업은 효과적인 보안 전략을 강구해야 합니다. 이에 <디지털데일리>는 행사에 앞서, AI시대 새로운 보안 동향과 기업 전략을 조망하는 기획기사를 연재합니다. <편집자주>

[디지털데일리 최민지기자] 지난 4일(현지시간) 오마하의 현인으로 불리는 전설적인 투자자 워런 버핏 버크셔 해서웨이 회장이 인공지능(AI)을 핵무기에 비유하며 두려움을 드러냈다.

버핏 회장은 네브래스카주 오마하에서 열린 버크셔 해서웨이 연례 주주총회에서 “핵무기를 개발할 때 병에서 지니(알라딘 요술램프의 요정)를 꺼냈다”고 표현하며 “AI도 이와 비슷하다”고 언급했다. 핵무기는 재앙적 결과를 초래할 수 있을 정도로 두려운 힘을 지니고 있는데, 병 밖으로 나오고 있는 AI 또한 의도하지 않은 인류의 위험을 초래할 수 있다는 것이다.

버핏 회장이 AI에 두려움을 느끼는 이유는 ‘사기’에 있다. 그는 AI가 만든 자신의 모습과 목소리가 가족뿐 아니라 본인조차 구별할 수 없을 정도로 정교한 점을 들었다. 실제, AI를 활용한 사기 수법은 현실화되고 있다.

지난 2월 홍콩은 약 340억원에 달하는 2억홍콩달러를 가로챈 AI 딥페이크 사기 사건으로 발칵 뒤집어졌다. 영국계 다국적기업 홍콩지사 소속 재무 담당 직원은 영국 본사 최고재무책임자(CFO)를 가장한 피싱 메일을 받았다. 당연히 해당 직원은 의심했지만, 화상통화에 초대된 후 감쪽같이 믿을 수밖에 없었다. 화상통화에 참석한 CFO와 본사 직원들 얼굴과 목소리가 일치했기 때문이다. 이에 의심을 거두고 지시에 따라 거금을 송금했다.

국내에서도 유명 연예인 허위 영상으로 제작한 광고로 투자를 유도하거나, 방송에 등장한 현직 검사 영상으로 딥페이크 사기 수법을 개발 중인 일당이 검거된 바 있다. 이처럼 AI 기반 이미지 및 목소리 합성 기술을 악용한 피싱 공격이 고도화되면서, 신종 사기 범죄가 전세계 곳곳에서 발생하고 있다. 이러한 위험을 최소화하기 위해 각국은 국가 차원에서 윤리적‧법적 가이드라인을 만들고 있다.

이와 함께 AI 도구를 해킹에 접목해, 해커가 아닌 이들도 사이버공격에 가담할 수 있는 우려가 커지고 있다. 숙련된 해커들은 AI를 활용해 공격 범위를 넓히고 있다.

이미 다크웹에는 생성형AI 기반 사이버범죄 도구인 ‘웜GPT(Worm GPT)’ 등이 등장했다. 웜GPT는 기업용 이메일 공격 때 주로 사용되는데, 상대를 속이기 위해 설득력 있는 문장력을 갖춘 메일을 자동 생성해준다. 이어 기업용 이메일 공격을 위한 ‘사기GPT(FraudGPT)’도 나타났다. 이런 도구들은 월 구독료를 내면 사용할 수 있는 방식을 택하고 있고, 해킹 진입 장벽을 낮출 수 있도록 돕는다.

이와 관련 영국 정보기관 GCHQ 내 국립사이버보안센터는 1월 보고서를 통해 “초보 사이버범죄자, 고용된 해커 등에 대한 진입장벽을 낮추면서, AI가 상대적으로 미숙한 위협 행위자의 정보 수집 작업과 효과적인 접근을 지원한다”며 “NCA 분석에 따르면 사이버범죄자들은 이미 범죄에 사용할 생성AI를 개발하고 구독형으로 제공해 비용을 지불하는 사람이라면 누구에게나 향상된 기능을 제공하기 시작했다”고 설명했다.

이 보고서에서는 AI가 글로벌 랜섬웨어 위협을 강화하고, 향후 2년간 사이버공격 규모와 영향을 증가시킬 것이라고 전망했다.

보고서는 “멀웨어를 전달하거나 비밀번호 정보를 도용하는 피싱은 사이버범죄자가 랜섬웨어 공격이나 다른 사이버범죄 수행에 필요한 초기 네트워크 접근에 중요한 역할을 한다”며 “랜섬웨어 공격자들은 이미 정찰, 피싱, 모딩 등 운영 효율성과 효괄르 높이기 위해 AI를 사용하고 있다. 이에 접근을 용이하게 하는 AI를 사이버범죄에 사용하는 것은 단기적으로 글로벌 랜섬웨어 위협에 기여할 가능성이 높다”고 부연했다.

실제, 사이버공격자는 생성형AI를 악성코드 생성 또는 고도화된 악성 프로그램 제작에 활용하기도 한다. 악성코드는 직접 제작하거나 다크웹을 통해 구매하는 방식이었는데, 이제는 생성형AI로 손쉽게 생성할 수 있게 됐다는 설명이다. 또, 공격자들은 AI를 통해 빠르고 정확하게 보안에 취약한 장치를 찾고 있다. 새로 식별된 취약점을 수정하기 위한 보안 업데이트 출시와 패치되지 않은 소프트웨어를 악용하는 공격자 사이의 시간이 단축되고 있는 상황이다. 이에 관리자는 알려진 취약점이 악용되기 전, 패치하는 것이 더욱 어려워질 수밖에 없다.

이뿐 아니라, 데이터 처리에서 발생하는 개인정보나 기업 정보유출 문제, 노이즈가 많은 데이터나 편향된 데이터에 의한 잘못된 의사결정으로 인해 발생하는 문제 등도 있다. 이는 알고리즘이나 AI 모델 공격으로 인해 오염된 AI가 잘못된 의사결정을 유도하는 것을 뜻한다.

보안기업 한싹 관계자는 “이러한 문제점을 방지하기 위해 AI 모델을 개발하는 기업은 데이터 정제 과정에서 품질과 보안을 최대한 강화하고, 알고리즘 개선과 최적화된 튜닝, RLHF, RAG 기술 등을 활용해 정확하고 구체적인 답변을 할 수 있도록 만들어야 한다”며 “데이터 관리 및 보안을 통한 데이터 신뢰성도 확보해야 한다”고 전했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -