'AI 통제력 상실 막는다'···네이버, AI 위험 대응 체계 발표

통제력 상실·악용 위험 대응

3개월마다 위험 평가를 수행

네이버가 국내 최초로 초거대 인공지능(AI)에 대한 통제력을 상실하는 상황을 방지하기 위한 대응 체계를 발표했다. 네이버는 각국 정부·기업과 소버린 AI를 공동 개발하는 과정에서 문화적 다양성을 철저히 반영할 방침이다.

네이버는 AI 시스템을 개발하고 배포하는 과정의 모든 단계에서 AI의 잠재적 위험을 인식·평가·관리하기 위한 대응 체계인 ‘네이버 ASF(AI Safety Framework)’를 공개했다고 17일 밝혔다.

네이버는 AI 시스템이 초래할 수 있는 위험을 ‘통제력 상실 위험’과 ‘악용 위험’으로 정의하고, 이에 대응하기 위한 방법을 설계했다. 통제력 상실 위험을 완화하기 위해 ‘AI 위험 평가 스케일’을 통해 AI 시스템의 위험을 주기적으로 평가하고 관리한다. 특히 현존 최고 성능의 AI 시스템을 ‘프런티어 AI’로 정의하고, 이 기술 수준에 해당하는 AI 시스템에 대해서는 3개월마다 위험 평가를 수행한다. 또 시스템의 능력이 기존보다 6배 이상 급격히 증가한 경우에는 그 시점에 추가 평가가 이뤄진다.

네이버 악용 위험에는 ‘AI 위험 평가 매트릭스’를 적용해 대응한다. AI 위험 평가 매트릭스는 AI 시스템의 사용 목적과 안전 조치의 필요성 정도에 따라 각각 다른 방법으로 위험을 관리한다. 예를 들어 생화학 물질 개발과 같이 특수한 목적으로 사용되는 AI 시스템은 특별한 자격이 있는 사용자에게만 제공한다. 안전 조치의 필요성이 높은 AI 시스템의 경우 추가적인 기술적·정책적 안전 조치를 통해 위험이 완화될 때까지는 배포하지 않는다.

해외 정부·기업과 소버린 AI를 공동 개발하며 특정 문화권에서 성립될 수 있는 AI 시스템의 위험을 식별하고, 위험의 정도를 측정하는 벤치마크도 문화권의 특성을 반영해 고도화할 예정이다. 소버린 AI는 국가나 기업이 자체 인프라와 데이터를 활용해 독립적인 AI 역량을 구축하는 것을 말한다.

최수연 네이버 대표는 “‘하이퍼클로바X’라는 소버린 AI를 개발한 경험을 통해 문화·지정학적 상황과 지역적 이해가 AI의 성능뿐 아니라 안전성에도 영향을 미친다는 점을 실증했다”며 “향후 글로벌 시장에서 소버린 AI를 개발하면서 네이버 ASF를 지속적으로 개선하고, 이를 통해 다양한 지역의 문화와 가치를 반영하는 다수의 AI 모델이 안전하게 사용되며 공존하는 지속 가능한 AI 생태계를 조성하는데 적극적으로 기여할 것”이라고 말했다.

김성태 기자 kim@sedaily.com
[ⓒ 서울경제, 무단 전재 및 재배포 금지]