공격자, AI로 속도·규모 확대…위협 무시한 조직이 더 취약하다 : zum 뉴스

기업 전반에서 인공지능 도입 속도가 빨라지는 동시에 디지털 공격자 역시 이를 채택하면서, CISO가 사이버 위협 체인에서 인공지능의 역할을 최우선 과제로 삼아야 하는지를 둘러싼 논쟁이 격화되고 있다.

일부 전문가와 한 보안 기업은 인공지능 기반 위협에 대한 경고가 새로운 방어 도구를 판매하려는 사이버 인텔 업체와 인공지능 기업이 과장한 내용이라고 주장하며 반박하고 있다.

엑스펠 위협 연구 책임자 마커스 허친스는 CSO에 “일부에서는 인공지능이 모든 보안 정책과 기술을 마법처럼 우회하는 가상의 시나리오를 우려한다”고 말했다. 허친스는 “현실에서는 경영진이 검증된 보안 정책과 도구, 완화 전략을 외면하고, 실제 상황에서 작동할 가능성이 낮은 생성형 인공지능 제품으로 이동하는 경향이 나타난다”고 설명했다.

그러나 대다수 현장 실무자와 베테랑 위협 인텔 리더는 이러한 주장에 강하게 반대한다. 이들은 인공지능 기반 위협이 가설이 아니라 이미 현실이며, 이를 무시할 경우 공격자가 인공지능으로 공격 속도와 규모를 높이면서 기업이 더 큰 위험에 노출된다고 지적한다.

센티널원 위협 탐지·대응 부문 총괄 부사장 스티브 스톤은 CSO에 “전통 악성코드에는 없는 기능에 인공지능이 사용되는 상황을 분명히 확인하고 있다”고 말했다. 스톤은 “악성코드를 더 빠르게 정교화하고, 코드 생성 보조 역할을 하거나, 사회공학에 배치되는 모습을 보고 있으며, 공격 전 주기에서 공격자는 인공지능을 사용하고 있다”고 설명했다.

최근 두 건의 연구 보고서는 인공지능이 사이버공격 주기에서 점점 더 큰 비중을 차지하고 있으며 잠재적으로 위험도가 높아지고 있음을 강조한다. 이 보고서는 공격자가 빠른 속도로 우위를 확보한 상황에서, CISO가 방어 능력을 평가할 시간이 부족할 수 있다고 시사한다.

공격 체인에서 인공지능 활용 증거가 증가

마이크로소프트와 오픈AI 등 다수의 사이버보안 및 인공지능 기업이 인공지능 기반 사이버공격 가능성을 다루는 보고서를 공개해 왔지만, 최근 두 보고서는 공격자가 단순 생산성 향상을 넘어 운영 도구 전반에 인공지능을 적극 통합하고 있음을 뒷받침한다.

11월 5일, 구글 위협 인텔리전스 그룹(GTIG)은 보고서를 통해 공격자가 인공지능 오남용의 새로운 운영 국면에 진입했다고 결론 내렸다. 보고서에 따르면 공격자는 과거의 이메일 피싱 강화나 코드 작성 속도 증가 같은 단순 생산성 목적을 넘어, 실행 중 행동이 동적으로 변화하는 도구를 사용하고 있다. 보고서는 “정부 지원 공격자와 사이버 범죄자가 전 주기에서 인공지능을 통합·실험하고 있다”고 밝혔다.

구글은 PROMPTFLUX, PROMPTSTEAL과 같이 실행 중 대규모 언어 모델을 활용하는 실험적 악성코드 계열에서 ‘JIT(Just in Time)’ 인공지능이 처음 사용된 것을 포함해 다섯 건의 인공지능 기반 악성코드를 확인했다.

GTIG 국장 빌리 레너드는 CSO에 “생산성 도구는 공격자가 대규모 언어 모델과 기타 생성형 인공지능 도구를 활용하는 방식에서 가장 큰 비중을 차지한다”고 말했다.

레너드는 공격자가 AI 입력을 조작해 정보 유출이나 악성 콘텐츠 생성을 유도하는 프롬프트 인젝션 공격이 곧 현실화할 것으로 전망했다. 지금까지 관측된 공격은 아직 그 수준에는 미치지 못한다는 설명이다.

그러나 레너드는 “앞으로 공격자가 자체 인공지능 에이전트를 배치하는 상황이 나타날 것이며, 이는 자율 공격 시스템에 가까워진다”고 경고했다. 레너드는 “이미 인공지능 레드팀용 오픈소스 도구가 다수 존재한다”며 “향후 12개월 안에 이러한 형태가 더 많이 나타날 것”이라고 말했다.

해당 구글 보고서는 허친스를 비롯한 일부 연구자로부터 과도한 공포를 조성한다는 비판을 받았지만, 허친스는 이후 문제 제기를 철회해 새로운 위협 지형이 얼마나 불확실한지 보여줬다.

레너드는 “우리가 발표한 보고서는 ‘AI 위협은 무의미하다’는 주장과 ‘AI가 모든 것을 붕괴시킨다’는 주장이 동시에 근거로 삼았다”며 “같은 보고서를 두고 양쪽 모두 자신들의 정당성을 주장하는 상황이었다”고 말했다.

GTIG 보고서 발표 일주일 후인 11월 13일, 앤트로픽은 중국 정부 지원 기업이 자사 Claude Code 도구를 조작해 약 30개 글로벌 표적 침투를 시도했고, 일부 사례에서 성공했다고 발표하며 큰 파장을 일으켰다.

앤트로픽에 따르면 이 공격은 불과 1년 전에는 존재하지 않았거나 초기 형태에 불과했던 인공지능 모델 기능을 활용했으며, 전체 과정 중 여러 단계에서 사람 개입이 이루어졌다. 앤트로픽은 산업·정부·연구 커뮤니티의 방어 강화에 도움을 주기 위해 내용을 공개했다고 밝혔다.

비판론자들은 앤트로픽이 IOC(침해 지표)를 공개하지 않은 결정이 연구의 가치를 떨어뜨린다고 주장했다.

그러나 경험 많은 위협 리더들은 인공지능 기반 공격의 특성과 공개 현실을 오해한 비판이라고 지적한다.

PwC 수석이자 전 미국 사이버사령부 국장 모건 아담스키는 CSO에 “연구자들은 항상 IOC 전체를 보고 싶어하지만, 그 내용을 공개하지 않는 데는 분명한 이유가 있을 수 있다”며 “공격자가 실제 공격 방식을 파악하도록 돕는 결과가 될 수 있다”고 설명했다.

SANS 연구소 최고 인공지능 책임자 롭 리는 “앤트로픽은 만디언트나 구글 같은 보안기업이 아니므로 비난은 부적절하다”며 “IOC를 공개하더라도 방어자에게 실질적으로 도움이 될지는 별개 문제이며, 앤트로픽만 사용할 수 있는 IOC라면 공개 가치가 없다”고 지적했다.

앤트로픽은 “IOC, 프롬프트, 기술 세부 내용을 공개할 경우 공격자에 매뉴얼을 제공하는 효과가 발생한다”며 “사안별로 공개 여부를 판단하지만 이번 건은 산업·정부 파트너에게만 공유하기로 결정했다”고 밝혔다.

CISO가 혼란을 해소하는 방법

AI 위협에 대한 상반된 주장은 많은 CISO에게 과장된 이야기와 실제 운영상 현실 사이에서 판단을 어렵게 만들고 있다.

소포스 CEO 조 리비는 CSO에 인공지능이 각자 보고 싶은 방식으로 해석되는 “로르샤흐 테스트” 같은 존재가 되고 있다고 말했다.

그러나 리비는 리더가 더 균형 있는 시각을 가져야 한다고 강조한다. 리비는 “공격자가 과거 수동·자동화 공격에서는 볼 수 없었던 규모로 에이전트형 인공지능을 활용할 가능성은 분명 새롭다”며 “다만 현시점에서 기존 방어 체계를 무력화할 정도의 급격한 위협 증가는 관찰되지 않았다”고 분석했다.

PwC의 아담스키는 CISO가 새 방어 전략을 즉각 전환할 준비가 필요하다고 강조했다. 아담스키는 “새로운 인공지능 시대 속도에 맞추려면 방어 대응 역시 초 단위로 이루어져야 한다”고 말했다.

아담스키는 인공지능 기반 위협이 실재하지 않는다는 오해를 불식시키는 것도 중요하다고 본다. 아담스키는 “이는 공격자가 활용 가능한 새로운 기술과 역량이며, 이미 실험·배포·성공 사례가 나타나고 있다”고 밝혔다.

프로테그리티 수석 아키텍트 클라이드 윌리엄슨도 공격자가 생성형 인공지능과 에이전트형 도구를 악용하지 않으리라는 가정은 위험하다고 지적했다. 윌리엄슨은 “자동화 도구가 주어졌을 때 해커 성향을 가진 사람이 이를 악용하지 않을 것이라고 생각하는 판단이야말로 비현실적”이라고 말했다.

RAD 시큐리티 CTO 지미 메스타는 CISO가 지금부터 이사회에 예산 선택지를 제시할 준비를 해야 한다고 조언했다. 메스타는 “이사회는 ‘불안정성을 감수할 것인지, 비용을 들여 보안을 확보할 것인지’라는 선택을 마주하게 될 것”이라며 “CISO는 모든 항목을 100% 수행해야 한다고 말하기 어려울 것이며, 앞으로는 더 많은 트레이드오프가 필요할 것”이라고 설명했다.

소포스 글로벌 국장 알렉산드라 로즈는 CISO가 인공지능 기반 공격 대비를 준비하더라도 보안의 기본에 집중해야 한다고 강조했다. 로즈는 “위협의 복잡성 수준과 관계없이 인공지능을 실험하는 공격자를 포함한 모든 공격을 차단하는 데 가장 효과적인 것은 결국 기본 보안 원칙”이라고 말했다.

dl-itworldkorea@foundryco.com

이 기사의 카테고리는 언론사의 분류를 따릅니다.