구글의 제미나이(Gemini)에서 새롭게 공개된 취약점은 공격자가 일상적인 캘린더 초대 기능을 악용해 모델의 동작을 조작할 수 있음을 보여준다. 현재 많은 기업이 생성형 AI를 업무 생산성과 의사결정 과정에 통합하는 가운데, 이는 새로운 보안 위험을 부각한다.
이 취약점은 애플리케이션 보안 업체 미고(Miggo)가 발견했다. 미고의 리서치 총괄 리아드 엘리야후는 보고서에서 제미나이가 사용자의 캘린더 일정을 분석할 때 제목, 시간, 참석자, 설명 등 전체 맥락을 해석한다고 설명했다. 이를 통해 사용자의 하루 일정을 요약하거나 관련된 질문에 답할 수 있다는 것이다. 이번 공격의 핵심은 이 캘린더 연동 기능에 있다.
엘리야후는 “제미나이는 사용자를 돕기 위해 이벤트 데이터를 자동으로 수집하고 해석하기 때문에 공격자가 일정 항목에 접근할 수 있다면 자연어 형태의 명령을 삽입해 모델이 나중에 이를 실행하도록 유도할 수 있다”라고 말했다.
미고 연구팀은 이번 발견이 LLM 기반 시스템이 직면한 더 광범위한 보안 과제를 보여준다고 밝혔다. 공격이 명확히 식별 가능한 악성 코드를 이용하기보다, 의미와 문맥을 조작하는 방식에 초점을 맞춘다는 지적이다.
엘리야후는 “이번 제미나이 취약점은 단순한 예외적 사례가 아니다. 탐지 기술이 AI 기반 위협의 진화 속도를 따라가지 못하고 있음을 보여주는 사례 연구에 가깝다. 기존 애플리케이션 보안(AppSec)의 전제인 식별 가능한 패턴이나 결정론적 논리는 언어와 의도를 기반으로 추론하는 시스템에는 명확히 적용되지 않는다”라고 설명했다.
기존 공격과의 차이점
이번 문제가 심각한 이유는 전통적인 소프트웨어 결함과 유사해서가 아니라, 생성형 AI 시스템이 소셜 엔지니어링 공격과 유사한 방식으로 조작될 수 있음을 보여줬기 때문이다.
사이버보안 분석가 수닐 바르키(Sunil Varkey)는 “기존에는 캘린더 초대나 이메일, 문서 같은 것은 단순한 데이터로 취급됐다. 공격자가 시스템이 어떤 동작을 하도록 만들려면 코드 논리나 메모리 안전성을 깨야 했지, 단순히 데이터만으로는 불가능했다”라고 말했다.
그러나 IDC 아시아태평양 사이버보안 서비스의 선임 연구 관리자 삭시 그로버는 “이번 경우 ‘버그’는 코드 결함보다는 LLM이 언어를 문맥 속에서 어떻게 해석하는지, 그리고 연결된 애플리케이션 전반에 걸쳐 어떤 권한을 갖고 있는지에 더 관련이 있다”라고 설명했다.
그로버는 이어 “이 두 요소가 결합되면 평범한 업무 객체인 캘린더 초대가 공격 페이로드로 변한다. 이 사례는 주요 업체의 LLM 보안이 여전히 실제 기업 환경의 위협 모델, 특히 간접 프롬프트 인젝션, 도구 사용, 앱 간 데이터 처리 같은 영역에서 현실을 따라잡지 못하고 있음을 보여준다”라고 지적했다.
사용자가 악성 초대를 수락하면 제미나이는 이를 신뢰된 초대로 간주하고 프롬프트를 실행한다. 이 취약점은 구글 제미나이를 통해 실행되지만, 그 방식은 피싱 공격에 더 가깝다.
컨설팅 기업 콘피디스(Confidis) CEO인 키스 프라부는 “컴퓨팅 전반이 제로 트러스트 방향으로 이동하고 있는 반면, AI 도구들은 여전히 데스크톱 구성 요소를 묵시적으로 신뢰하고 있다. 이런 구조는 심각한 결함이 될 수 있다. AI 도구가 악성코드가 직접 수행할 수 없는 작업을 대신 수행하는 ‘비서(컨시어지)’ 역할로 악용될 수 있기 때문”이라고 말했다.
실제 기업 환경에 노출될 위험
민감한 시스템과 연동된 AI 코파일럿을 기업들이 빠르게 도입하면서 기업 환경에서 이런 위험은 점점 커지고 있다.
보안 업체 슈어실드(SureShield)의 CTO 찬드라세카르 빌루구는 “내부 코파일럿이 이메일, 캘린더, 문서, 협업 도구 등에서 데이터를 수집하기 때문에 단 하나의 계정이 침해되거나 피싱 이메일이 유입되더라도 악성 명령이 은밀히 삽입될 수 있다”라고 말했다. 직원이 평소처럼 일반적인 쿼리를 실행할 때 모델은 조작된 문맥을 처리하면서 의도치 않게 민감한 정보를 노출할 수 있다.
IDC의 그로버는 프롬프트 인젝션 위협이 이론적 수준을 넘어 실제 운영 단계로 진입했다고 분석했다. 그로버는 “IDC가 2025년 8월 아시아·태평양 지역에서 실시한 조사에서, 인도 기업은 ‘LLM 프롬프트 인젝션, 모델 조작, AI 어시스턴트 탈옥’을 ‘AI 학습 과정에서의 모델 오염이나 적대적 입력’ 다음으로 가장 우려하는 AI 기반 위협으로 꼽았다”라고 말했다.
우선순위로 삼아야 할 대응책
콘피디스의 프라부는 보안 리더가 모든 직원을 대상으로 하는 연례 정보보안 교육에 AI 보안 인식을 반드시 포함해야 한다고 조언했다. 또한 이번과 같은 새로운 공격 벡터로 인한 위협을 고려해, 엔드포인트 보안을 한층 강화할 필요가 있다고도 강조했다.
기업은 프롬프트 인젝션 공격이 발생할 것을 전제로 대응해야 한다. 그로버는 “위험을 완전히 제거하려 하기보다 피해 범위를 제한하는 데 초점을 맞춰야 한다. 이를 위해 AI 시스템에 최소 권한 원칙을 적용하고 도구 권한을 엄격히 제한하며, 기본 데이터 접근을 최소화해야 한다”라고 말했다. AI가 수행하는 모든 행위가 기업의 업무 규칙과 민감도 정책에 부합하는지 검증하는 절차도 마련해야 한다.
목표는 모델을 언어로부터 완전히 면역화하는 것이 아니다. 그런 모델은 존재하지 않는다. 그로버는 “중요한 것은 설령 모델이 조작되더라도 허용된 범위 이상으로 데이터를 조용히 접근하거나, 2차 경로를 통해 정보를 유출하지 못하도록 하는 것”이라고 덧붙였다.
또한 보안 리더는 AI 코파일럿을 단순한 검색 도구처럼 취급하지 말고, 조직 내에서 어떤 역할과 권한을 갖는지 재정의해야 한다. 특히 바르키는 “강력한 보호 장치를 갖춘 제로 트러스트 원칙을 적용해야 한다. 데이터 접근을 최소 권한으로 제한하고 신뢰되지 않은 콘텐츠가 신뢰된 명령으로 전환되지 않도록 하며, 정보 공유·전송·업무 시스템 기록과 같은 고위험 행위에는 반드시 승인 절차를 요구해야 한다”라고 말했다.
dl-itworldkorea@foundryco.com
Prasanth Aby Thomas editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.