[CEO칼럼] AI 규제의 핵심은 모델이 아니라 '운영'이다

이혜민 핀테크AI협의회 회장 겸 핀다 공동대표 [사진=핀다]

흔히 지금이 ‘인공지능(AI) 골든타임’이라고 말한다. 하지만 보수적인 금융 산업 영역에서 생성형 AI를 실제로 써보거나 활용해 본 이들은 더 절박하게 AI 골든타임을 외친다. 이러한 외침은 규제 환경 속에서 길게는 1년 전 기술을 바탕으로 서비스를 설계할 수밖에 없다는 현장 체감에서 비롯된다. 시장은 매 순간 변하는데, 제도는 ‘신청 시점 스펙’에 제품을 묶어두는 구조다. 실로 안타까운 일이다.

문제는 여기서 시작한다. AI 위험은 코드가 아닌, 운영에서 발생한다. 배포 이후 업데이트, 재학습, 데이터 결합, 프롬프트나 정책 변경, 사용자 집단 변화 등에 따라 같은 AI 모델도 전혀 다른 결과를 만들어낸다. 그럼에도 규제는 여전히 신청 시점에 작성된 문서와 기술 명세를 바탕으로 AI를 관리하려 한다.

이에 두 가지 부작용이 발생한다. 먼저, 혁신 속도의 저하다. AI는 업데이트를 전제로 진화한다. 그러나 변경이 곧 재심사·점검으로 연결되면 기업은 최신 모델 적용 대신, ‘승인받은 옛 구조 유지’를 택할 수밖에 없다. 결과적으로 시장에는 최신 AI가 아니라 ‘승인 가능한 AI’만 남게 된다.

둘째, 실제 리스크가 발생하는 운영 단계의 관리와 책임이 오히려 공백으로 남는다. 사전 문서가 아무리 정교해도, 운영 중 발생하는 편향·환각·보안 취약·오남용 등을 실시간으로 잡아내지 못하면 사고가 난다. 규제는 존재하는데, 정작 위험이 커지는 지점의 운영 단계에 관리가 취약해지는 역설적인 상황이 벌어진다.

따라서 규제에 대한 관점이 달라져야 한다. 사전 승인 중심의 규제에서 벗어나, 운영 중심의 규제로 이동해야 한다. 무슨 모델을 만들었는지가 아닌 어떻게 운영하고 있는지, 어떤 데이터로 업데이트되고 있는지, 문제 발생 시 누가 책임지고 설명할 수 있는지 여부가 더욱 중요하다. 해외 규제와 가이드의 핵심도 이와 같은 방향으로 흘러가고 있다.

유럽연합(EU) ‘AI 법(AI act)’에서는 시장 출시 후 고위험 AI에 대한 모니터링 체계를 갖추도록 규정하고 있다. 또 AI를 실제 사용하는 주체에게도 시스템 운용을 모니터링하고 필요시 제공자에게 알리도록 의무를 둔다. 즉, 책임을 개발자 문서 대신, ‘운영의 지속성’에 둔다.

영국 정부는 AI 검증 생태계를 자체 육성해 조직들이 AI를 운영하며 점검하도록 가이드라인을 마련하고 있다. 미국 국립표준기술연구소(NIST)의 경우, AI 리스크 관리를 라이프 사이클로 보고, 배포 이후 운영과 모니터링 단계에서 지속적인 점검과 개선을 명시하고 있다. 모두 운영 검증 역량에 규제 초점을 맞춘 것이다.

운영 중심으로 전환하면, 산업 전반은 물론 소비자에게도 긍정적인 영향을 끼친다. 첫째, 업데이트를 전제로 혁신 속도를 확보할 수 있다. 사전 승인에 묶이지 않고, 운영 데이터와 모니터링을 근거로 ‘안전한 변경’을 빠르게 반복할 수 있다. 사고에 대한 사후 징벌이 아닌 ‘사전 탐지’로도 바꿀 수 있다. 로그, 알림, 이상징후 탐지, 사용자 이의 제기 및 리콜 프로세스 등을 갖추면 사고의 크기 자체가 줄어들 수 있다. 마지막으로 책임이 명확해진다. ‘누가 운영했고, 무엇을 근거로 업데이트했고, 어떤 통제를 했는지’가 기록된다면 규제 기관과 소비자 모두 명확한 판단이 가능하다. EU가 제공자·이용자(배포자) 모두에게 모니터링 의무를 부여하는 이유다.

AI는 멈춘다고 안전해지지 않는다. 규제가 현실을 못 따라가면, 결국 사각지대로 이동할 게 불을 보듯 뻔하다. 현재 필요한 것은 ‘무엇을 어떻게 만들 것인가’가 아닌, ‘어떻게 운영하고 책임질 것인가’를 들여다보는 규제다. 그래야 AI는 비로소 우리가 통제 가능한 기술이 될 것이다.
아주경제=이혜민 핀테크AI협의회 회장 겸 핀다 공동대표 yuniejung@ajunews.com

- Copyright ⓒ [아주경제 ajunews.com] 무단전재 배포금지 -