[AI WAVE 2024] “AI 리스크 관리 어떻게?…‘AI 거버넌스’ 구축, 선택 아닌 필수”

[디지털데일리 양민하 기자] “인공지능(AI) 리스크에 대해 정확히 알고, 이를 명확하게 통제할 수 있을 때 기업은 AI 청사진을 그릴 수 있다.” (장준영 법무법인 세종 AI센터 센터장)

장준영 법무법인 세종 AI센터 센터장은 9일 <디지털데일리>가 산업별 AI 혁신과 도전과제를 주제로 진행한 ‘AI 웨이브 2024’ 콘퍼런스에서 “AI 리스크를 해결하지 못할 경우 생성형 AI는 축복이 아니라 재앙이 될 수 있다”며 AI 리스크에 사전 대응할 수 있는 지속 가능한 AI 거버넌스 구현의 중요성에 대해 강조했다.

장 센터장은 “생성형 AI가 도입된 이후 리스크의 성격도 상당히 많이 바뀌었다”며 “생성형 AI는 기존의 다른 컴퓨팅 기술과 달리 모든 산업, 내부 외부 할 것 없이 모든 영역을 커버하는 기술로 진화하고 있다. 과거 한때 유행했던 새로운 기술 트렌드 수준이 아닌, 모든 영역을 변화시키고 우리 삶에 직접적인 영향을 미치는 기술”이라고 전했다.

‘AI 리스크’는 AI가 개인과 기업에 미칠 잠재적인 부정적 결과로서, AI 발전에 따라 더욱 다양한 형태로 진화할 것으로 예상된다. 환각, 데이터 편향 등 AI 기술 자체에 내재된 리스크와 개인정보 유출·침해 사고 등 데이터 활용에 따른 리스크, 이 외에도 국제표준 미준수, 국내외 관련 법령 위반에 따른 제재 등 AI 리스크는 결국 기업 비즈니스 리스크로 이어질 가능성이 크다.

특히 내부 통제가 불가한 법 위반 리스크와 관련해 장 센터장은 올해가 AI를 위한 ‘룰 세팅’의 한 해가 될 것으로 내다봤다.

그는 “지난 3월 유럽의회는 ‘EU AI 법(AI Act)’를 통과시켰고, 미국에서는 작년 10월 조 바이든 행정부가 AI를 규제하는 첫 행정 명령을 내렸다”며 “이를 필두로 현재 우리나라를 포함한 전 세계에서 AI 규제를 어떻게 만들어 갈 것인지 논의 중이다. 이르면 올해부터 AI 규제와 관련한 모든 것이 진지하게 논의될 것”이라고 전했다.

이 같은 AI 리스크는 기업이 기존에 경험하지 않아 익숙하지 않은 새로운 리스크다. 특히 기업 비즈니스 전반에 적용, 기업 전체에 분산돼 위험 요인을 선별하기 어렵다는 특성을 가진다.

장 센터장은 “AI 활용에 따른 근원적 리스크 요인을 사전에 제거하지 않는다면 기업은 회복할 수 없는 수준의 피해를 입을 수 있다”며 “이 같은 문제를 해결하기 위해서는 AI 리스크 관리를 모든 기업 업무에 통합해 관리의 연속성이 이뤄질 수 있는 체계, 즉 ‘AI 거버넌스’를 구현해야 한다”고 강조했다.

AI 거버넌스란 AI 라이프사이클에 대한 지속적 모니터링을 통해 각 단계별 발생 가능한 리스크를 정량적으로 식별하고, 해당 리스크 및 잠재적 영향을 최소화 및 제어할 수 있는 관리⋅감독 프레임워크를 의미한다.

AI 거버넌스 구축을 위한 솔루션으로는 ▲국내외 법제도 정합성 제고 ▲맞춤형 AI 위험통제 모델 체계 확립 ▲상시적 데이터 매니지먼트 체계 활성화 등이 제시됐다.

장 센터장은 “먼저 기업에 적용되는 국내외 AI 법제도의 정합성을 실시간으로, 내부적으로 확인할 수 있는 규제 라이브러리를 구축해야 한다”며 “기존 로펌 또는 각종 연구소에서 해외 사례 리포트를 받아 내부적으로 분석해서 적용하는 등 개인 역량에 의존한 정합성 제고 방법에는 한계가 있다”고 말했다.

이어 “반면 기업 내부 규제 라이브러리를 구축할 경우 해당 업무를 담당하는 사람이 자신의 업무에 부합하는 AI 관련 규제를 쉽게 확인하고, 변경사항을 즉시 반영할 수 있다. 이를 통해 법 제도뿐만 아니라 원칙, 프레임워크, 가이드라인 등 여러 단계에서 논의 중인 규제를 입체적으로, 실시간으로 확인할 수 있다”고 덧붙였다.

맞춤형 AI 위험통제 모델 체계를 확립하기 위한 핵심은 AI 라이프사이클의 각 단계에 대한 주기적인 모니터링을 실시하고, 최신화된 국내외 규범을 준수한 평가 절차를 적용한다는 점이다.

장 센터장은 “AI 서비스는 방대한 데이터를 이용하기 때문에 데이터 하나하나의 오류를 수정할 수 없다”며 “기업이 위험통제 모델을 얼마나 짜임새 있게 갖추고 있고, 얼마나 충실하게 이행해서 일종의 ‘증빙’을 갖추고 있는가에 따라 앞으로 이 같은 사소한 오류에 따른 제재 리스크 등에 대응할 수 있을지 여부가 결정될 것”이라고 설명했다.

또한 상시적 데이터 매니지먼트 체계를 활성화해야 한다. AI 서비스에 활용되는 데이터 처리 시스템 구축 전 분석·설계 단계에서부터 시스템 운영, 개선, 폐기 등 각 단계를 포괄하는 데이터 처리 흐름(flow)의 현황과 위험 요인을 실시간으로 명확히 식별하는 것이 중요하다.

장 센터장은 “AI 시스템 도입에 따른 부작용 중 하나는 사고에 대한 위험 대처 능력이 현저히 떨어질 수 있다는 점이다. 기업은 AI를 포함해 다양한 솔루션과 시스템을 사용하고 있어 사고가 발생했을 경우 문제가 어디서 발생했는지 파악하는 데 상당한 시간이 소요된다. 생성형 AI의 불확실성으로 인해 앞으로 이 같은 문제는 더 심화될 것”이라고 전했다.

이어 “이때 데이터 리스크를 효율적으로 파악하고 평가, 관리하는 위해서는 기업이 보유하고 있는 데이터 인벤토리 및 우선순위 지정을 통한 데이터 처리 흐름 분석이 필수로 요구된다”며 “데이터 가시성을 갖출 수 있는 데이터 매니지먼트 체계는 사고 발생 시 신속한 원인 분석 및 대응을 가능하게 한다”고 덧붙였다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -