"AI가 폭탄 제조까지 알려줘 … 보안 시급"

프롬프트를 악용해 마약·폭탄 제조법을 알아내는 등 챗GPT 같은 대규모언어모델(LLM) 인공지능(AI) 서비스를 우회할 수 있는 방법이 나오고 있다. 생성형 AI 서비스가 급속도로 확장하면서 이 같은 서비스의 취약점이나 AI를 활용한 공격 사례도 증가하고 있다.

SK쉴더스는 2일 서울 중구 페럼타워에서 2024년 상반기 보안 트렌드를 분석하며 AI를 활용한 공격과 주의점을 소개했다.

SK쉴더스는 생성형 AI 서비스에서 발생할 수 있는 10가지 취약점 중 '프롬프트 인젝션' '불완전한 출력 처리' '민감 정보 노출' 3가지를 가장 위험도가 높은 것으로 꼽았다.

가령 마약이나 폭탄 제조법을 물어보면 AI 서비스는 대답하지 않도록 설계돼 있지만 문자를 기호로 바꿔 입력하거나 정상적인 질문부터 조금씩 물어보는 방법으로 모델의 안전 정책을 회피할 수 있다는 설명이다.

[정호준 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]