AI가 AI를 감시한다… 새 거버넌스 모델 부상

[AI리포터]

휴먼 인 더 루프 방식이 한계에 직면했다. [사진: 셔터스톡]

[디지털투데이 AI리포터] 인공지능이 초고속·대규모로 의사결정을 수행하는 환경에서 기존의 휴먼 인 더 루프(Human-in-the-loop) 감독 방식이 한계에 이르며, AI가 AI를 감시하는 새로운 거버넌스 모델이 필요하다는 주장이 제기됐다.

18일(현지시간) 실리콘앵글에 따르면, 생성형·에이전트형 AI가 사기 탐지, 금융 거래, 추천 시스템, 물류, 사이버 보안 등에서 초당 수백만건의 결정을 내리는 상황에서 인간이 개별 판단을 직접 감독하는 방식은 현실적으로 작동하기 어렵다는 지적이 나왔다. 인간 중심 감독은 의사결정의 속도와 규모를 따라가지 못하며, 선언적 개념에 머무르고 있다는 평가다.

이 같은 한계는 실제 운영 환경에서도 드러나고 있다. 금융시장의 급변 사태나 자동화 시스템 오류, 광고비 폭증, 계정 오차 차단 등 사례에서 인간은 문제가 확산된 뒤에야 상황을 인지하는 경우가 많았다. 특히 다단계로 연결된 에이전트형 AI의 행위 흐름은 지나치게 복잡해, 수동 점검이나 사후 감사만으로는 위험을 통제하기 어렵다는 분석이다.

이에 따라 업계와 정책 연구에서는 AI 생애주기 전반에 자동화된 모니터링과 이상 감지, 정책 집행 기능을 내장하는 구조를 대안으로 제시하고 있다. 미국 국립표준기술연구소(NIST)의 AI 리스크 관리 프레임워크 역시 지속적인 모니터링과 자동 경고를 핵심 요소로 포함하며, 실시간으로 AI를 감시하는 AI 관측성 체계의 필요성을 강조하고 있다.

전문가들은 이 과정에서 인간의 역할이 축소되는 것이 아니라 재정의된다고 설명한다. 인간은 기준과 정책을 설정하고, 권한 경계와 중단 조건을 설계하며, 모든 행위가 감사 가능하도록 책임을 진다. AI는 인간이 정의한 규칙 아래에서 감시와 집행을 수행하는 방식으로, 효과적인 AI 거버넌스를 위해서는 인간과 AI 간 역할 분담이 필수적이라는 지적이다.

<저작권자 Copyright ⓒ 디지털투데이 (DigitalToday) 무단전재 및 재배포 금지>