“학습하지 않은 취약점도 찾아낸다” 자율 AI 에이전트 위협에 대비해야 하는 이유

일리노이 대학 연구팀이 다수의 자율 AI 에이전트(Autonomous AI Agent)에 CVE 데이터를 제공한 후, 해당 에이전트를 통해 새로운 취약점을 찾는 데 성공했다. 연구팀에 따르면, 테스트 환경의 취약점은 LLM(GPT-4) 훈련 마감일 이후에 발견된 취약점이었다. 즉, AI 에이전트는 이전에 학습하지 않은 취약점을 찾아낸 것이다.

ⓒ Getty Images Bank

연구팀은 모델 훈련 이후 CVE 데이터베이스에 추가된 약 12가지 취약점을 테스트 환경에 배포했다. 각 AI 에이전트는 이들 취약점에 대해 전혀 학습하지 못한 상태였지만, 서로 협력해 5번의 시도에서 53%의 확률로 취약점 익스플로잇에 성공했다. 한 번 시도했을 때의 성공률은 33%였다.

반면 오픈소스 취약점 스캐너인 ZAP과 메타스플로잇(Metasploit)은 테스트 환경에서 어떠한 취약점도 발견하지 못했다. 일리노이 대학 연구팀의 수석 연구원 다니엘 강 교수는 “자동화된 취약점 스캐너의 상당수가 재대로 작동하지 않는다는 사실을 알 수 있다”라고 말했다.

자율 AI 에이전트가 테스트 환경에서 새로운 취약점을 발견했다고 해서 모든 종류의 환경에서 모든 종류의 취약점을 찾을 수 있다는 뜻은 아니다. 연구팀이 실행한 시뮬레이션은 기본적으로 ‘통에 담긴 물고기’를 낚는 환경이다. 낚아야 하는 물고기가 새로운 종류일 수 있지만, AI 에이전트는 물고기의 일반적인 생김새는 학습한 상태다. 강 교수는 “해당 에이전트가 새로운 유형의 취약점을 찾을 수 있다는 증거는 발견하지 못했다”라고 설명했다.

일반적인 취약점의 새로운 용도를 찾는 LLM

AI 에이전트가 발견한 것은 SQL 인젝션과 같은 매우 일반적인 유형의 취약성에 대한 새로운 사례다. 사이버보안 업체 제이프로그(JFrog)의 보안 연구원 벤 그로스는 “LLM은 발전했지만, 아직 사람의 감독 없이 복잡한 환경을 완전히 이해하거나 자율적으로 탐색하는 수준은 아니다. 테스트된 취약점의 종류가 다양하지 않았고, 주로 웹 기반 취약점이 많았으며, 단순하기 때문에 쉽게 악용될 수 있는 취약점”이라고 강조했다.

또한 카네기 멜론 대학교 소프트웨어 엔지니어링 연구소의 수석 사이버보안 엔지니어인 라우싱혼에 따르면, 해당 AI 에이전트가 발견한 취약점은 매우 잘 알려진 것이다. 라우싱혼은 “10년 전부터 문제를 일으켰던 취약점 종류다. 따라서 이번 연구는 우리가 오랫동안 알고 있던 결함을 예방할 수 있는 능력과 사이버 위생이 부족하다는 의미”라고 지적했다.

또한 라우싱혼은 일리노이 대학 연구팀의 조사 결과가 우려스럽기는 하지만 세상을 뒤흔들 만한 수준은 아니며, 에이전트는 매우 제한된 환경에 배치된 것이라고 CSO에 설명했다. 이어 “특정 문제를 가리키며 ‘여기서 문제를 찾을 수 있겠느냐’라고 묻는 셈이다. 하나의 취약점만 있는 샌드박스를 가지고 있다면 망치와 못을 함께 사용하는 것과 같다. 보다 광범위하고 현실적인 시스템에서 사람보다 더 효과적으로 작동할 수 있을까?”라고 반문했다.

그럼에도 AI 에이전트에 대비해야 하는 이유

라우싱혼은 일리노이 연구팀의 테스트 환경에서 AI 에이전트는 여러 번 시도했다며, 국가를 공격하려는 공격자라면 소음을 내고 싶지 않을 것이라고 지적했다.

이번 연구에서 기업이 우려해야 하는 부분은 낮은 수준의 공격자가 곧 이런 툴을 사용해 대규모 공격을 수행할 수 있게 될 수 있다는 점이다. 라우싱혼은 “에이전트 기반 익스플로잇 탐지 서비스를 제공하지 않는 다크 웹 기업이 있다면 그 사실에 더 놀랄 것이다. 사이버 범죄 관점에서 보면 자연스러운 진화”라고 말했다.

일리노이 연구팀은 탈옥하지 않고도 GPT-4를 통해 취약점을 찾아냈다. 강 교수는 사이버보안 전문가가 취약점을 매우 빠르게 테스트하고 차단하는 데 훨씬 더 능숙해져야 한다며, “웹사이트에 표준 취약점이 있으면 6~12개월 안에 발견될 수 있다”라고 설명했다.

과거에는 공격자가 새로운 취약점을 발견한 후 이를 이용해 웹사이트를 공격하는 데 시간이 걸렸다. 하지만 강 교수는 “앞으로는 그 시간이 크게 줄어들 것이라고 생각한다. OWASP 상위 10개 취약점 중 상대적으로 경험이 적은 모의 침투 테스터도 발견할 수 있는 취약점이 있다면 대규모 자율 에이전트로 발견할 수 있다”라고 덧붙였다.

효과적인 대비책은?

AI 에이전트를 탐지할 수 있다면 진행 중인 공격도 발견할 수 있을 것이다. 하지만 강 교수는 “캡챠 같은 방어 체계를 우회하는 방법도 있으므로 장기적인 해결책이 될 수 없다”라고 말했다.

대신 기업은 모든 사이버보안 베스트 프랙티스를 따르고 있는지 확인하고, 자율 AI 에이전트를 방어적으로 활용해 공격자보다 먼저 취약점을 찾아내야 한다. 강 교수는 “이런 에이전트를 프로덕션 환경에 적용하기 전에 스테이징 환경에 배포해야 한다”라고 조언했다.

강 교수는 모든 사이버보안 솔루션 업체가 곧 자율 에이전트를 제공하기 시작할 것이라며, 자신의 팀도 이미 해당 기술을 선량한 사람에게 제공하기 위해 노력하고 있다고 말했다. 다만 강과 그의 연구팀은 연구에 사용한 AI 에이전트를 만들고 제어하는 구체적인 프롬프트와 기술을 공개하지 않고 있다. 오픈AI 측에서 프롬프트나 에이전트를 공개하지 말아 달라고 요청했기 때문이다. 강 교수는 “해당 에이전트를 사용하고자 하는 모든 보안 업체가 활용할 수 있도록 최선의 방법을 찾아 지원폭을 넓히려고 노력하고 있다”라고 말했다.

지난해 오픈AI는 GPT-4를 출시하면서 “정찰, 취약점 익스플로잇, 네트워크 탐색을 위한 기존 툴보다 개선되지 않았으며, 새로운 취약점 식별과 같은 복잡하고 높은 수준의 활동에는 기존 툴보다 효율성이 떨어진다”라고 말했다. 이에 강 교수는 “오픈AI를 탓하지는 않는다. 에이전트라는 개념이 아직 일반적이지 않기 때문이다. LLM 모델 제공업체에 에이전트 환경에서 모델을 테스트하라고 조언하고 싶다”라고 덧붙였다.
editor@itworld.co.kr

Maria Korolov editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지