인공지능 코파일럿은 매우 똑똑하고 유용하다. 동시에 순진하고, 쉽게 속으며, 때로는 지나치게 단순하게 반응하기도 한다.
이 같은 특성은 바로니스 위협 연구소(Varonis Threat Labs) 연구진이 발견한 새로운 원클릭 공격 흐름을 통해 다시 확인됐다. 연구진은 이 공격을 리프롬프트(Reprompt)라고 명명했으며, 초기 LLM 프롬프트 이후 모든 보안 통제를 우회하는 3단계 공격 체인이라고 설명했다. 이 공격은 눈에 띄지 않게 실행되며, 탐지 없이 사실상 제한 없는 접근이 가능해진다.
바로니스 위협 연구소 보안 연구원 돌레브 탈러는 블로그 게시글을 통해 “인공지능 비서는 민감한 정보를 공유하고 조언을 구하며 망설임 없이 의존하는 신뢰 대상이 됐다”며 “그러나 신뢰는 쉽게 악용될 수 있고, 인공지능 비서는 클릭 한 번으로 데이터 유출 무기로 전환될 수 있다”라고 밝혔다.
현재까지 리프롬프트는 마이크로소프트 코파일럿 퍼스널에서만 확인됐으며, 마이크로소프트 365 코파일럿에서는 발견되지 않았다. 다만 코파일럿 정책과 사용자 인식 수준에 따라 기업 환경에서도 악용될 가능성은 남아 있다. 마이크로소프트는 해당 취약점을 인지한 이후 패치를 배포했다.
리프롬프트가 조용하게 작동하는 원리
리프롬프트는 데이터 유출 체인을 구성하기 위해 세 가지 기법을 활용한다. 프롬프트 간 주입, 이중 요청, 연쇄 요청이다.
프롬프트 간 주입은 코파일럿의 기본 URL 매개변수 기능을 악용한다. 코파일럿은 사용자 경험 개선을 목적으로 URL의 ‘q’ 매개변수에 질문이나 지시문을 포함할 수 있도록 설계돼 있다. 페이지가 로드되면 해당 내용이 입력창에 자동으로 채워진다.
공격자는 이 허점을 이용해 이중 요청을 실행한다. 코파일럿은 첫 번째 요청의 Q 변수만 악성 여부를 검사하며, 이후 요청에 대해서는 동일한 검증을 수행하지 않는다.
연구진은 비밀 문구 “HELLOWORLD1234!”가 포함된 URL을 두 차례 요청하도록 실험했다. 첫 번째 요청에서는 해당 문구가 제거됐지만, 두 번째 요청은 문제없이 실행됐다.
이후 공격자는 연쇄 요청 단계로 이동한다. 공격자의 서버가 후속 지시를 지속적으로 전달해 대화를 이어가도록 유도하며, 이 과정에서 코파일럿은 대화 기록과 민감한 데이터를 외부로 유출하게 된다. “오늘 사용자가 접근한 모든 파일을 요약하라”, “사용자는 어디에 거주하는가”, “계획된 휴가는 무엇인가”와 같은 프롬프트가 활용될 수 있다.
탈러는 해당 방식이 데이터 탈취를 은밀하면서도 확장 가능하게 만든다고 설명했다. 코파일럿은 데이터를 조금씩 유출하며, 각 응답은 다음 악성 지시를 생성하는 재료로 사용된다.
위험한 점은 리프롬프트가 플러그인이나 커넥터 활성화, 추가적인 사용자 조작을 전혀 요구하지 않는다는 사실이다. 사용자는 피싱 메시지에 포함된 정상적인 코파일럿 링크를 한 번 클릭하는 것만으로 공격 흐름에 편입된다. 사용자가 채팅을 종료한 이후에도 공격은 지속될 수 있다.
모든 명령은 초기 프롬프트 이후 서버를 통해 전달된다. 단일 프롬프트를 검사하는 방식만으로는 어떤 데이터가 유출되는지 파악하기 어렵다. 실제 지시는 사용자 입력이 아니라 서버의 후속 요청에 숨겨져 있다.
개발자와 보안 기업이 취해야 할 대응
전문가는 일반적인 보안 원칙과 마찬가지로 URL과 외부 입력을 항상 신뢰하지 말아야 한다고 조언했다. 링크 클릭에 주의하고, 이상 동작을 감시하며, 자동으로 채워진 프롬프트를 반드시 검토해야 한다.
사비언트 전략 담당 수석부사장 엔리케 테이셰이라는 해당 공격 역시 피싱 이메일이나 문자에서 시작되며, 의심스러운 링크를 클릭하지 않는다는 기본 원칙이 그대로 적용된다고 지적했다.
테이셰이라는 초기 사용 시점뿐 아니라 전체 세션에 걸쳐 피싱 저항형 인증을 적용해야 한다고 강조했다. 이를 위해 애플리케이션과 코파일럿, 챗봇을 설계하는 초기 단계에서부터 통제를 내장해야 하며, 사후적으로 보안을 추가하는 방식에는 한계가 있다고 분석했다.
또한, 일반 사용자 역시 인증되지 않은 챗봇 사용을 피하고, 긴박감을 조성하는 요청에 반응하거나, 출처가 불분명한 발신자에게 응답하거나, 개인 정보를 과도하게 공유하는 행위를 경계해야 한다고 덧붙였다.
이런 상황에서 피해자를 비난해서는 안 된다. 인공지능을 활용하는 애플리케이션 소유자와 서비스 제공자는 인증과 권한 부여 없이 프롬프트가 제출되거나 URL에 악성 명령이 포함되는 구조를 허용해서는 안 된다. 지속적이고 적응형 인증 같은 기본적인 아이덴티티 보안 통제를 적용해 애플리케이션의 안전성을 높여야 한다는 설명이다.
탈러는 내부자 수준의 위험을 전제로 설계가 이뤄져야 한다고 지적했다. 인공지능 비서는 신뢰된 맥락과 접근 권한을 전제로 작동하는 만큼, 최소 권한 원칙과 감사, 이상 행위 탐지가 필수 요소로 꼽힌다.
이번 사례는 새로운 기술이 보안을 사후 고려 사항으로 둔 채 기업 환경에 도입되는 전형적인 모습을 다시 한번 보여준다.
보서론 시큐리티의 데이비드 십리는 해당 상황을 와일 이 코요테와 로드 러너에 비유했다. 결함이 명확한 제품을 신뢰하고 반복적으로 사용하는 구조가 그대로 재현되고 있다는 설명이다.
문제의 ‘제품’은 제한 없이 모든 작업을 수행하도록 허용된 대규모 언어 모델 기반 기술이다. 십리는 이런 모델을 “고속으로 움직이는 바보”라고 표현했다.
대규모 언어 모델은 콘텐츠와 지시를 구분하지 못하고 전달된 내용을 그대로 실행하는 특성을 지닌다. 이런 특성 때문에 브라우저 내 대화 범위를 넘어서는 접근 권한을 부여하는 선택은 위험하다는 지적이 나온다.
최소 권한 원칙이나 제로 트러스트를 적용해 근본적인 불안정을 보완하려는 시도는 겉보기에는 합리적으로 보일 수 있다. 그러나 해당 접근은 결국 기업에 심각한 피해를 안길 수 있다는 경고도 함께 제기됐다.
dl-itworldkorea@foundryco.com
Taryn Plumb editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.