[2025전망 금융IT이노베이션]“유도심문해 정보탈취”…IBM이 생성형AI를 보호하는 법

[디지털데일리 오병훈기자] 생성형 인공지능(AI)이 각종 산업에서 유용한 도구로 활용되기 시작하면서, 그 이면에서는 정보를 탈취하려는 사이버 공격 범죄도 함께 늘어나고 있다. 생성형 AI를 활용한 데이터 탈취 공격은 난이도가 쉬지만, 치명적인 결과를 낳을 수 있다는 특징을 지니고 있다. 이에 따라 생성형 AI를 지키기 위한 다양한 보안 전략에 대한 관심도 커지고 있는 추세다.

12일 원유현 한국IBM 차장은 <디지털데일리>에서 개최한 ‘2025 전망, 금융IT 이노베이션’ 행사에서 생성형 AI 시스템 방어 중요성과 IBM만의 차별화된 보안 솔루션을 소개하며 “금융권을 비롯한 다양한 영역에서 AI가 사용되고 있는 만큼, AI 자체에 대한 보안 중요성이 높아지면서 AI 모델 보안 전략에 대한 관심도 높아지고 있다”고 말했다.

먼저, 원 차장은 대표적인 공격 사례를 먼저 소개했다. 가장 대표적인 생성형 AI 모델 공격 방식은 ‘프롬프트 인젝션’이다. 프롬프트는 이용자가 AI에 내리는 명령어를 말한다. 즉, AI에게 유도심문을 통해 기밀을 빼내는 공격을 의미한다.

또 다른 공격 방식으로는 AI 학습데이터를 오염시키는 ‘데이터포이즈닝’이 있다. 프롬프트인젝션이 외부에서 정보 탈취를 목표로 하는 공격이라면, 데이터포이즈닝은 AI모델을 망가뜨리는 것을 목적으로 내부에 각종 조작 데이터를 주입하는 공격이다. 이 공격을 통해 생성형 AI가 허위 정보를 전달하도록 유도하거나, 폭력적이고 선정적인 답변을 하도록 만들 수도 있다.

원 차장은 “생성형 AI 모델에 대한 공격의 가장 큰 특징은 ‘최소 노력, 최대 피해’”라며 “쉬운 방법이지만, 금전적인 피해나 서비스 오류 등 치명적인 결과를 낳게 된다”고 설명했다.

이에 IBM에서는 3단계 파이프라인을 통한 AI 보안 전략을 제시한다. 먼저 ‘데이터 수집 및 처리’ 단계에서는 암호화된 데이터를 업로드하고, 이를 안전하게 관리하는 것이 중요하다. IBM 보안 솔루션은 평시 데이터 흐름을 학습한 후, 이상 행위를 실시간으로 탐지하고 모니터링하는 기능을 가지고 있다. 특히 국내 IP가 아닌 외부 IP에서 데이터 조회가 발생한 경우에는 이를 선제적으로 차단한다.

다음은 ‘모델 개발 및 훈련' 단계에서 보안이다. 이 단계에서는 응용프로그램 인터페이스(API) 모델 개발 과정에 권한 이상이나 취약점이 존재하지 않도록 하는 것이 핵심이다. ‘모델 추론 및 활용’에서는 직원 권한과 직급에 따라 사용 가능한 데이터를 제한하고, 정책에 맞는 정보만 제공되도록 해야 한다.

원 차장은 “API 접근 권한의 생성부터 삭제까지 아우르는 전 과정을 관리하는 것이 중요하다. 초기에 부여된 권한이 프로젝트 종료 후에도 남을 경우에는 공격에 악용될 가능성이 높기 때문”이라며 “IBM 솔루션은 사용자 인증 정보 및 접근 로그도 실시간 모니터링해 이상 접근 시도를 차단하고, 정책을 우회한 접근 트래픽을 감지하고 실시간으로 대응할 수 있다”고 말했다.

마지막으로 그는 IBM에서 제공하는 양자 암호화 보안 솔루션 ‘퀀텀 세이프’에 대해서도 소개했다. IBM에서는 양자 관련 기술 발전에 발맞춰 향후 다가올 수 있는 양자컴퓨터를 이용한 공격에도 적극 대응한다는 계획이다.

그는 “양자 컴퓨터는 강력하기로 이름을 알린 RSA 암호화 등도 금세 해킹할 수 있는 성능을 가지고 있다”며 “IBM은 양자 컴퓨터 환경에서 발생 가능한 공격에도 대비하기 위해 관련 가이드와 솔루션을 지속적으로 연구개발 중”이라고 전했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -