기업의 AI 거버넌스 수립, 어디부터 시작할까? [real! AI pro]

AI 대전환의 시대, 쏟아지는 이슈와 키워드 중 '꼭 알아야 할 것'과 '알아두면 좋은' 것을 구분하기란 쉽지 않습니다. 뜬구름 잡는 이야기도 많습니다. [real! AI Pro]는 이 고민을 현업 전문가들이 직접 선정한 주제와 인사이트를 담아 명쾌하게 정리해드립니다. <편집자주>

[디지털데일리 이건한 기자] 세상에 ‘법 없이도 사는 사람’이란 말이 있습니다. 누가 강제하지 않아도 스스로 선한 마음으로 사회와 충돌 없이 지내는 이들입니다. 반대로 '법 없이도 사는 인공지능(AI)'은 어떨까요? 안타깝지만 아직 불가능합니다. 지금 AI는 일부 영역에서 이미 사람보다 똑똑한 모습이지만, 그렇다고 아직 스스로 인간 사회의 규범을 익히면서 옳고 그름까지 분별할 만큼 자주적인 수준은 아니기 때문입니다.

현재 이 한계는 우리 인간이 직접 AI 개발자와 사용자에게 부여하는 규칙인 ‘법(Act)’과 ‘거버넌스(Governance)’로 보완되고 있습니다. 이 중 국가적 규칙인 ‘AI 기본법’은 조만간 우리 국회의 최종 논의를 거쳐 공표될 예정입니다. 다만 기본법에는 AI에 관한 큰 틀의 정의나 의무, 금지사항이 규정될 뿐 세부적인 개발 및 서비스 운영, 사용 지침은 포함되지 않습니다. 따라서 AI 거버넌스는 이 틈을 보완하기 위한 개별 조직 단위의 규칙과 지침이라고 할 수 있죠.

하지만 상당수 기업·기관 관계자들은 “우리도 AI 거버넌스를 수립하라”는 상부의 요구가 아직 꽤 막연하게 느껴진다고 합니다. DX(디지털 전환)도 이제 막 익숙해진 참에, 벌써 AX(인공지능 전환) 준비 과정을 고민해야 하게 됐으니 말입니다.

그러나 이미 주변에서 모두 'AI 퍼스트(First)'를 외치며 움직이는 만큼, 가만히 두고 볼 수만은 없습니다. 결국 아픈 머리를 싸매고 다시 ‘AI 거버넌스란 무엇이며, 어디부터 무엇을 대응해야 하는가?’를 고민할 때인데요. 오늘은 이 복잡한 질문의 답을 AI 도입 전략 및 거버넌스 전문가인 이동근 삼정KPMG AI센터 전무가 쉽고 명쾌하게 풀어드립니다.

AI 거버넌스 준비의 첫걸음 '균형 잡기'

안녕하세요, 이동근입니다. ‘AI 거버넌스’란 무엇일까요? 어렵다면 어렵고, 쉽다면 쉬운 개념입니다. 확실한 건 원칙적으로 접근하면 누구나 머리가 하얘질 것이란 점입니다. "AI 거버넌스란 AI 생애주기에서 윤리적 가치와 원칙 실현을 위한 규범적 요구사항 정립, 그리고 실행 조직과 프로세스를 갖추는 종합적 체계다" 같은 말로 설명해야 하니까요. 그러나 이런 교과적인 설명은 대략의 느낌만 기억하세요. 지금부터는 ‘AI 거버넌스를 통해 얻을 이점'에만 집중하길 바랍니다.

우선 AI 거버넌스가 필요한 이유부터 명확히 해야 합니다. 저는 그 답을 ‘균형(Balance)’에서 찾곤 합니다. 조직의 AI 거버넌스는 대부분 국내외 AI 트렌드 대응, AI 도입 활성화, 발생 가능한 사고로부터 고객·회사·임직원의 안전과 권리 보호 등을 위해 필요합니다. 하지만 어느 한쪽에 집중하기에는 이에 영향을 받는 많은 조직 내 이해관계자가 존재할 겁니다.

예를 들어 기업의 ‘업무부서’는 특성상 적극적인 AI 도입과 활용을 통한 AI 활성화에 집중합니다. 반면 ‘관리부서’는 AI 리스크 관리에 관심이 더 많습니다. 그들은 빠른 AI 도입보단 안전성 검증과 실익을 더 우선할 수밖에 없습니다. 이 가운데 조직의 AI 거버넌스를 ‘활성화’ 혹은 ‘안전’ 어느 하나에 집중하여 만든다는 건, 결국 모든 구성원의 공감대를 얻을 수 없도록 만듭니다.

저는 앞서 기업의 성공적 AX 도입 전략을 다룬 기사에서도 ‘전사적 AX 성공을 위해선 모든 직원의 공감대 형성이 필수’라는 조언을 드렸습니다. 그 연장선인 AI 거버넌스도 마찬가지로 어느 한편의 이익이 아니라, 각자가 속한 산업과 기업 내 조직 특성에 맞춰 모두가 공감하고 적용할 수 있는 수준의 합리적 가이드라인을 고민하는 것이 중요한 첫걸음이 됩니다.

AI 거버넌스 수립, 결코 후순위가 될 수 없다

물론 이해관계 사이 공감대와 합의점을 찾는 과정은 복잡하고 지난할 수 있습니다. 급한 대로 먼저 AI 서비스 개발이나 도입을 서두를 수도 있습니다. 하지만 경험상 그동안 만난 제가 기업 중 AI 거버넌스 준비가 미흡했던 곳은 대부분 그 의지와 달리 AI 활성화에 문제를 겪곤 했습니다.

가령 ▲개인정보를 학습 데이터로 사용할 때 문제가 없으려면 어떤 절차를 거쳐야 하는지 ▲생성형 AI로 만든 결과물에 저작권 문제는 없을지 ▲대고객 AI 서비스의 위험을 사전에 어떻게 경감할 수 있을지 등 세부적이지만 중요한 문제에 대해 AI 거버넌스가 부재하다면? 결국 '기획-설계-개발-평가-검증-운영-모니터링’이란 기본적인 AI 생애주기조차 원활하게 작동할 수 없으므로 그들이 꿈꿨던 AI 활성화는 내부에서부터 발목이 잡힐 수밖에 없던 것입니다.

심한 경우, AI 거버넌스 부재는 기업이 감당하기 어려운 AI 안전 사고로도 이어집니다. 이때 특히 주의할 키워드는 AI의 공정성(Fairness), 책임성(Accountability), 투명성(Transparency), 윤리의식(Ethics) 등입니다. 실제로 대규모 AI 조직을 갖춘 글로벌 기업들도 한때는 이와 관련된 사고로 기업가치와 평판 하락이란 악재와 마주한 사례가 있습니다. 하물며 그보다 작은 대부분의 기업·기관이라면 회복이 어려운 사고가 발생하기 전에 먼저 AI의 공정, 책임, 투명함, 윤리의식을 담보하기 위한 거버넌스 체계 수립은 결코 선택의 문제가 아닐 것입니다.

'AI 거버넌스 적용 대상의 합리적 축소' 방안

하지만 그렇다고 안전 보장 및 위험 회피에만 집중한다면? 실제로 제가 많은 이들과 AI 거버넌스를 논의하다 보면 AI 활성화보다 AI 리스크 관리에 무게 중심을 두는 경우가 더 많았습니다. 하지만 좋은 AI 거버넌스는 안전에만 치우치는 불균형으로 완성되지 않고, 적정한 규제의 준수와 활성화를 추구할 때 만들어진다고 다시 한번 말씀드립니다.

이것이 어렵게 느껴질 수 있기에 한 가지 팁을 드립니다. 바로 ‘AI 거버넌스 적용 대상을 합리적으로 축소하라'는 것입니다. 주요 대상은 우선 단순 통계와 규칙에 따라 정해진 대로만 작동하는 ‘규칙 기반(Rule-based) 시스템’을 들 수 있습니다. 이는 특별한 변수 없이 정해진 규칙대로 예측 가능한 선에서 자동화 작업을 담당하는 간단한 소프트웨어나 AI가 해당됩니다.

실제로 최근 AI 거버넌스 체계를 수립한 모 기업도 내부적으로 위험도가 높지 않은 단순 규칙 기반 시스템을 선별 후, 자사의 AI 거버넌스 적용 범위에서 제외하기로 했습니다. 이는 고위험 AI 서비스로 판단되는 경우만 전사 차원에서 세부적인 AI 거버넌스를 적용해 통제하고, 일반 위험 AI 서비스는 꼭 필요한 리스크 중심으로만 관리하며, 저위험 서비스는 아예 복잡한 거버넌스 통제 대상에서 제외함으로써 보다 유연한 AI 거버넌스 관리 체계를 구축하기 위함이었습니다. 일종의 선택과 집중을 통해 AI 거버넌스 운영 자원의 사용을 효율화한 것이지요.

또한 아직 국내에서 AI 기본법이 본격 시행되지 않았는데 벌써 AI 거버넌스를 수립하는 것이 맞느냐고 반문하는 분도 많습니다. 그러나 법과 거버넌스는 결코 동일하지 않습니다. 다시 강조하지만 법이 반드시 따라야 할 큰 틀의 규칙이라면, 거버넌스는 그 안팎에서 기업과 조직이 어떻게 AI 개발과 서비스를 해 나갈 것인지 정하는 세부적이고 개별적인 지침이니까요.

따라서 국가의 법령, 가이드라인과 별개로 각 기업별 AI 거버넌스는 지금부터 최소 안전한 AI 활용 체계라도 준비하는 것이 권장됩니다. 이어 일부 시범 적용을 추진하고, AI 법과 제도가 명확해지면 세부 지침 제정, 조직 내 AI 위원회 공식 운영 등으로 구체화해 나가는 것을 추천합니다.

AI 거버넌스를 대하는 국가와 기업의 이상적 관계

아울러 AI 기본법 제정을 비롯해 한국의 AI 거버넌스를 만들어 나가는 이들에게도 약간의 제언을 드리고자 합니다. 제22대 국회에서는 지금까지 총 19개 AI 기본법 관련 법안이 발의되었고, 최근 국회 과학기술정보방송통신위원회가 1개의 병합된 대안을 통과시켰습니다. 또한 과방위에서도 해당 법은 우선 '진흥 중심'이라고 밝혔고, 아직 100% 완전하지 않기에 추후 보완하겠다고도 언급했습니다.

저는 그 연장선에서 AI 기본법이 이후 모든 것을 세세하게 정의하기보다는, 상당 부분을 기업과 기관 자율에 맡기는 것이 바람직하다고 생각합니다. 지금의 AI 기술 발전 속도가 매우 빠른데, 법과 규제란 그 모든 변화에 늘 적기 대응하는 것이 어렵기 때문입니다.

대신 감시와 조정의 역할을 강화해 주길 바랍니다. AI 위험관리 측면에서 기업이 내부 위험관리 정책을 연 1회 이상 정기 점검하도록 한다든가, 정해진 주기나 특정 이벤트 발생 시점에 맞춰 AI 위험 등급을 주기적으로 재분류하게 한다든가 하는 기준 등을 마련하도록, 법과 규제에 반영하면 어떨까요?

나아가 국가 AI 거버넌스 고도화의 장기적 측면에서는 '고객'과 '소비자'도 그 중심이 될 수 있도록 고민할 필요가 있겠습니다. 이는 기업이 AI 거버넌스를 수립할 때 기업에게만 유리하고, 고객을 불리하게 하지 않도록 하는 균형추 역할은 정부와 국회만이 할 수 있기 때문입니다. 특히 고영향 AI 서비스 기준, 위험도 경감 관리체계에 대해서는 앞으로 제3자가 모니터링할 수 있는 장치 또한 반드시 갖출 수 있도록 추진하는 것도 좋은 방안이 될 것입니다. 이를 통해 앞으로 정부와 민간의 AI 거버넌스 수립과 보완 과정은 계속하여 다양한 이해관계 사이에서 적절한 균형과 역할을 찾는 방향으로 나아갈 것 또한 예상됩니다.

이 가운데 AI 활성화와 위험관리는 함께 추구해야 하면서도 늘 이해관계에 따른 상충이 발생하기 쉬운 지점이기도 합니다. 지금까지 말씀드린 것처럼 정부는 국가적 AI 거버넌스와 가이드라인을 만들되 기업이 안전성과 투명성을 갖출 수 있도록 하는 감시자로서 균형을 맞춰 주시고, 기업은 그에 따라 어느 일방에게 불리하지 않은 합리적 AI 거버넌스를 갖춰 이행해 나가는 상호보완적 형태가 가장 이상적이라고 할 수 있겠습니다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -