인공지능은 더 이상 미리 정의된 명령을 실행하는 도구가 아니다. 자체적으로 수정하고 매개 변수를 재작성하며, 실시간 피드백을 기반으로 진화할 수 있는 능력이 커지고 있다. 자율적 생성이라고도 하는 이러한 자립적 능력 덕분에 AI시스템은 환경에 동적으로 적응하고 효율성이 높아지는 동시에 예측 가능성이 크게 떨어진다.
사이버 보안팀에게는 새 근본적인 과제가 생긴 셈이다. 계속해서 스스로를 변화시키는 시스템을 어떻게 보호할 수 있을까? 기존의 보안 모델은 위협이 외부에서 발생한다고 가정한다. 즉, 안정된 시스템의 취약점을 악용하는 악의적인 행위자가 위협을 일으킨다는 것이다. 하지만 AI가 스스로의 운영을 재구성할 수 있게 되면, 위험은 더 이상 외부 침입뿐만 아니라 내부 예측 불가능성까지 포함하게 된다.
AI의 진화 과정을 모니터링할 리소스가 부족하거나 AI가 자체 보안 태세를 변경한 것을 감지할 능력이 부족한 중소기업(SMB) 및 공공 기관에 특히 우려할만한 문제다.
AI 시스템이 스스로를 수정할 때
대다수 소프트웨어는 고정된 매개 변수 내에서 작동하기 때문에 그 동작을 예측할 수 있다. 그러나 오토포이에틱 AI는 환경의 입력에 반응해 자체 운영 논리를 재정의할 수 있다. 이를 통해 더 지능적인 자동화가 가능해지지만, 효율성 최적화를 담당하는 AI가 인간의 감독 없이 보안 관련 결정을 내릴 수도 있다.
예를 들어, AI 기반 이메일 필터링 시스템은 처음에는 사전 설정된 기준에 따라 피싱 시도를 차단할 수 있다. 하지만 이메일을 너무 많이 차단하면 사용자 불만이 발생한다는 것을 계속 학습하면 워크플로우의 효율성을 유지하기 위해 감도를 낮추기 시작하고, 원래 시행해야 할 보안 규칙을 건너뛸 수도 있다.
마찬가지로, 네트워크 성능을 최적화하는 AI는 보안 프로토콜을 장애물로 인식하고 방화벽 구성을 조정하거나 인증 단계를 우회하거나 특정 경보 메커니즘을 비활성화할 수 있다. 이러한 변경은 외부 침해가 아닌 자체 생성된 로직에 의해 이루어지기 때문에 보안팀이 새로운 위험을 진단하고 완화하기가 어렵다.
자율 AI가 특히 우려되는 이유는 의사 결정 과정이 종종 불투명하기 때문이다. 보안 애널리스트는 시스템이 다르게 작동하고 있음을 인식할 수 있지만, 왜 그러한 조정이 이루어졌는지를 파악하기 어려울 수 있다. AI가 최적화라고 인식한 사항에 따라 보안 설정을 수정하는 경우, 포렌식 분석을 할 수 있는 방식으로 변경을 기록하지 않을 수도 있다. 이로 인해 책임의 공백이 발생하면 기업은 사고가 발생하기 전까지는 보안 상태가 변경된 것을 인식하지 못하게 된다.
중소기업 및 공공 기관 특유의 사이버 보안 위험
전용 AI 보안팀을 보유한 대기업의 경우, 지속적인 모니터링, 적대적 테스트 및 모델 설명 가능성 요구를 통해 자체 수정 AI의 위험을 억제할 수 있다. 그러나 중소기업과 공공 기관은 이러한 감독을 구현할 예산이나 기술적 전문 지식을 거의 보유하고 있지 않다.
간단히 말해서, 이들 기업의 위험은 AI 시스템이 보안에 중요한 프로세스를 변경하고 있다는 사실을 너무 늦게 깨닫게 될 수 있다는 점이다. AI 기반 액세스 제어를 사용하는 지방 정부는 자격 증명 인증이 정상적으로 작동하고 있다고 생각할 수 있지만, 시스템이 로그인 시간을 줄이기 위해 멀티팩터 인증의 우선 순위를 낮추고 있다는 사실을 나중에야 발견할 수 있다. AI 기반 사기 감지 기능을 사용하는 소규모 기업은 운영 중단을 최소화하기 위해 시스템이 너무 많은 보안 경고를 차단해 사기 거래가 감지되지 않는다는 사실을 발견할 수 있다.
이러한 문제의 가장 좋은 예는 2024년 7월 크라우드스트라이크(CrowdStrike) 위기다. 이 사건은 세계적으로 인정받는 사이버보안 플랫폼 업체가 충분한 검토 없이 패치를 배포한 결과 발생했다. 이 패치는 전 세계에 한 번에 배포되어 지난 10년, 심지어는 지난 수십 년 동안 가장 큰 기술 정전 사태를 초래했다.
사고 후 조사 결과, 전 세계적 서비스 중단을 초래한 다양한 오류가 드러났는데, 그 중에서도 채널 파일에 로드된 구조의 검증 부족, 버전 데이터 누락, 버전 유형이 아닌 고객에 따라 소프트웨어 업데이트를 별도로 처리하지 않은 것이 가장 두드러졌다.
이러한 오류는 생성형 AI를 사용해 좁은 범위의 작업을 대량 자동화하는 오늘날의 변화에서 흔히 발생하는 일로, 사이버 보안 측면에서 뚜렷한 문제를 야기한다. 결국, 기존의 취약점과 달리 AI 기반의 위험은 외부 위협으로 나타나지 않는다.
멀웨어 감염이나 인증 정보 도용이 아닌, 아무도 예측하지 못한 방식으로 진화한 시스템이 문제이다. 따라서 AI 기반의 보안 결정 및 수정 사항을 지속적으로 감사할 인력이 부족한 중소기업과 공공 기관의 경우 위험이 특히 높다.
AI에 대한 의존도가 신원 확인, 사기 탐지, 접근 제어 등 분야에서 증가함에 따라 문제는 더욱 심화된다. AI가 기업 내 신뢰할 수 있는 주체나 대상을 결정하는 데 더 큰 역할을 맡으면서, AI가 신뢰 모델을 자율적으로 변경할 수 있는 능력은 보안팀에게 움직이는 목표물을 제공한다. AI 결정이 인간 감독 수준보다 훨씬 추상화되면 기업은 자체 보안 프레임워크에 대한 통제권을 재확립하는 데 어려움을 겪을 수 있다.
보안팀의 적응
자율 AI의 위험을 완화하려면 사이버 보안 전략의 근본적인 변화가 필요하다. 기업은 더 이상 보안 실패가 외부 위협에서만 발생한다고 가정할 수 없다. 대신 AI 자체가 자체 의사 결정 논리를 지속적으로 변경해 취약성을 유발할 수 있음을 인식해야 한다.
보안팀은 정적 감사 접근 방식을 넘어 AI 기반 보안 프로세스에 대한 실시간 검증 메커니즘을 채택해야 한다. AI 시스템이 인증 워크플로우, 방화벽 설정, 사기 탐지 임계값을 변경할 수 있다면, 이러한 변경 사항은 독립적으로 검토 및 검증되어야 한다. AI 기반 보안 최적화는 효율성을 개선한다는 이유로 본질적으로 신뢰할 수 있다고 간주되어서는 안 된다.
사이버 보안 전문가는 성능만큼 설명 가능성도 중요하다는 점을 인식해야 한다. 보안에 민감한 환경에서 작동하는 AI 모델은 애널리스트들이 AI 시스템이 특정 변경을 수행한 이유를 이해할 수 있도록 사람이 읽을 수 있는 논리 경로로 설계되어야 한다. 이러한 수준의 투명성이 확보되지 않으면, 기업은 완전히 통제할 수 없는 진화하는 시스템에 중요한 보안 결정을 아웃소싱할 위험에 처하게 된다.
중소기업과 공공 기관의 경우 문제는 더욱 심각하다. 이러한 기업의 대부분은 AI 보안에 대한 전문 지식이 부족하기 때문에 외부 감독 메커니즘을 도입해야 한다. AI 기반 보안 솔루션에 대한 공급업체 계약에는 AI 시스템이 사람의 명시적인 승인 없이 보안 태세를 근본적으로 변경하는 방식으로 자체 수정되지 않도록 하는 필수 투명성 요구 사항이 포함되어야 한다.
AI 실패 시나리오를 테스트해야
기업은 재해 복구 및 사고 대응을 테스트하는 것과 동일한 방식으로 AI 실패 시나리오를 테스트해야 한다. AI 기반 사기 탐지 시스템이 고위험 경고를 억제하기 시작하면 보안팀이 이러한 변화를 얼마나 빨리 감지할 수 있을까? AI 기반 신원 확인 시스템이 인증의 엄격함을 완화하면 IT 팀은 공격자가 이러한 변화를 악용하기 전에 어떻게 개입할 수 있을까? 더는 가상의 우려 사항이 아니다. AI가 자율적 보안 기능을 수행함에 따라 실제로 나타날 취약점이다.
보안팀이 할 수 있는 가장 위험한 가정은 AI가 항상 인간의 의도에 따라 행동할 것이라고 생각하는 것이다. 시스템이 결과를 최적화하도록 설계된 경우, 시스템은 최적화를 수행하지만, 반드시 사이버보안 우선 순위에 부합하는 방식으로 최적화를 수행하는 것은 아니다. 기업이 이 사실을 빨리 인식할수록, 시스템이 인간의 통제를 벗어난 보안 결정을 내리기 전에 AI 기반 환경을 보호할 준비를 더 잘 할 수 있다.
dl-itworldkorea@foundryco.com
No Author editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.