"AI, 뛰어나지만 신뢰 힘든 기술… 안전성 확보해야 산업발전" [AI리더를 찾아서]

(4) 김명주 AI안전연구소장
기술적 위험·실직 유발·딥페이크 등
다수가 AI 잠재적 리스크 놓고 우려
사회에 미칠 수 있는 부정적 영향을
'포텐셜 리스크 맵'통해 선제적 관리
사람보다 똑똑한 AI, 통제수단 필요
비상 정지 장치 도입 등 규제 활용을
파운데이션 AI 모델 반드시 만들어
중동·아시아 등 제3국서 기회 모색

김명주 AI안전연구소장이 18일 AI 윤리와 효율적인 AI 안전 정책 방향에 대해 설명하고 있다. 사진=박범준 기자

"인공지능(AI) 안전성이란 결국 신뢰입니다. AI가 최근 산업과 사회 전 분야에서 성능을 발휘하고 있지만, 문제는 아직은 '너무 뛰어나지만 신뢰할 수 없는' 기술이라는 점입니다. 신뢰받지 못하는 AI 기술은 언젠간 무너집니다. 안전성이 중요한 이유입니다." 김명주 AI안전연구소 소장이 18일 파이낸셜뉴스와 인터뷰에서 이같이 밝혔다. AI 기술이 급속도로 발전해도 안전성과 신뢰성이 확보되지 않으면 결국 곳곳에서 문제가 발생하며, AI 산업 전반에도 부정적인 영향을 미칠 것이라는 의미다.

지난해 11월 설립된 AI안전연구소는 고도화된 AI 위험, AI 윤리 문제 등에 대응하기 위해 출범했다. 더 구체적으로는 안전하고 신뢰할 수 있는 AI의 개발과 활용 환경을 조성하고 국내 AI 기업의 경쟁력 확보 및 글로벌 진출을 지원하는 것이 목표다. 초대 소장인 김명주 서울여대 정보보호학부 교수는 컴퓨터공학을 전공한 AI윤리·신뢰성 전문가로 경제협력개발기구(OECD) 글로벌 AI 파트너십(GPAI)의 엑스퍼트 멤버로 활동하며, 지속가능한 AI발전을 위한 국제사회 논의에도 활발히 참여하고 있다. 다음은 김 소장과의 일문일답.

―AI 안전연구소가 지난해 11월 출범했다. 어떤 역할을 맡나.

▲정식 명칭은 'AI안전원'(AI Safety Institute)이다. 원자력안전원처럼 AI의 정책과 안전을 관리한다. 캐치프레이즈도 '안전한AI로 만드는 지속가능한 미래'다. 안전과 반대되는 말은 위험이다. AI의 위험을 바라보는 시각은 다 다르다. 기술적인 위험만 보는 전문가도 있고, 일반 시민은 AI가 실직을 유발한다거나 딥페이크 문제로 불안해하기도 한다. 이런 고민들이 심해지면 그게 위험이 되는 거다. 나는 'AI 잠재 위험 지도(potential risk map)'를 만들 필요가 있다고 생각한다. AI가 사회에 미치는 영향을 분석하고, 정치·사회·문화·노동·환경 등의 부정적 영향을 체계적으로 정리해 해결책을 마련해야 한다. 리스크는 계속 변하겠지만, 이런 잠정적인 맵을 만들어 놓고 계속 업그레이드해야 한다. AI 위험요소는 국가마다 다를 수 있다. 국제협력을 통해 공통된 문제를 정리하고, 우선순위를 세워 해결해 나가야 한다고 생각한다.

―정부는 AI 3대 강국(AI G3)을 목표로 설정했다. 천문학적 자금이 투입되는 '별들의 전쟁'에서 한국이 경쟁력을 확보하려면.

▲우리가 '규모의 경제'에서 밀리는 것은 맞다. 대형언어모델(LLM) 등의 파운데이션 모델을 포기하고 차별화 전략으로 가자는 말도 일리 있다. 그럼에도 우리만의 AI 경쟁력을 갖추려면 '파운데이션 모델'은 반드시 보유해야 한다. 우리가 AI 기술을 글로벌 시장에 수출하려면 최소한의 기반 모델이 필요하다. 미국이나 중국과 일대일 경쟁을 하기는 어렵지만 중동, 아시아, 아프리카 등 '제3 시장'에서 기회를 찾아야 한다. 그런데 중동 지역을 예로 들어보자. 요즘 중동 쪽에서 한국 IT기업을 눈여겨보고 있는데 여러 이유로 미국과 중국 기업을 꺼린다면 제3의 대안은 우리가 될 수 있다. 하지만 한국에 파운데이션 모델이 없다면 중동의 큰손들도 한국 AI기술을 높게 평가하지 않을 것이다. 그러니까 이건 '돈 잡아먹는 하마'라고 하더라도 키워야 한다. 원천기술이 당연히 있어야 하고, 미국이나 중국 수준까진 안 되더라도 일단 내세울 뭔가가 있어야 한다. 여기에 안전성까지 확보해야 틈새를 치고 나갈 수 있다. 정부가 AI 인프라 확충을 지원한다면 중소기업이나 스타트업들도 따라갈 수 있는 환경이 만들어질 수 있다. 자국 파운데이션 모델도 없는 나라가 AI G3로 갈 수는 없다.

―이 시점에서 '안전성'이 중요한 이유는.

▲AI 안전성이란 결국 '신뢰성'이다. 유럽연합(EU)에서는 '트러스트(Trust)', 영국에서는 '세이프티(Safety)', 미국에서는 '릴라이어빌리티(Reliability)'라는 용어를 쓰는데 의미는 모두 같다. 이번에 찾아온 AI 붐은 과거와는 다르다. AI가 전 분야에서 성능을 발휘하고 있고, 문제는 성능은 뛰어나다. 하지만 믿을 수가 없다. 그래서 신뢰성 문제가 나온다. AI는 인간 개입 없이 자율적으로 움직일 여지가 많다. 그래서 이용자 입장에선 불안하다. 딥페이크로 만든 불법 저작물이 대표적이다. 가짜가 더 진짜 같아 보인다. 발전한 AI기술은 양면성이 있다. 안전하지 않으면 결국 외면받고, 그러다 보면 AI를 만든 기업도 성장하기 어렵다.

―AI안전을 위해 가장 시급한 문제는.

▲딥페이크가 가장 큰 문제다. 미국 LA 산불 같은 경우도 엄청난 가짜 영상들이 퍼지지 않았나. 가짜뉴스, 허위정보가 범람하면 민주주의가 흔들린다. 선거철이 되면 AI를 이용해 가짜여론을 형성할 수도 있고 이런 사회적 신뢰를 붕괴시키는 기술은 반드시 규제해야 한다. 생성형 AI도 위험성이 크다. 허위정보를 진짜인 것처럼 제시하는 환각현상이 해결되지 않았다. AI가 사람을 대신해 물건을 구매하고, 행동하는 시대가 오면 통제 불가능한 상황이 발생할 수 있다. 이 경우 '킬 스위치'(비상 정지장치)가 반드시 필요하다. 통제 가능한 AI를 만드는 게 그래서 중요하다. AI가 예측 불가능한 결정을 내릴 경우 즉시 멈출 수 있어야 한다. 그래서 AI 기본법에도 '비상 정지' 조항이 포함됐다.

―AI기본법이 EU에 이어 제정되면서 규제가 강화될 것이란 우려가 있는데.

▲우리의 AI기본법은 EU와는 성격이 다르다. EU의 기본법은 소비자 보호를 위한 규제 중심이다. 그러나 한국은 법안 설계 초반에는 '진흥반, 규제반'이라고 했지만 결과적으로 진흥 70%, 규제 30%의 균형을 맞추는 방향으로 설계됐다. 다만 EU에서 말하는 고위험AI, 국내법에서 고영향AI 가이드라인은 필요하다. EU의 AI법이 향후에 어떻게 조정될지는 모르겠으나, 일단 2026년 법이 시행된다. 그러니까 2026년부터 EU에서 (국내 업체들이) AI 서비스를 판매하려면 규제를 충족해야 한다. 한국 기업들도 사전에 이를 준비해야 글로벌 시장에 진출할 수 있다는 얘기다. 특히 눈에 뻔히 보이는 위험이 있는데 그런 부분들은 걸러내야 하지 않겠나. 최소한의 위험을 방지한다는 개념으로 봐야 한다. 다만 우리 AI기본법에서 조금 아쉬운 부분이 있다면 샌드박스 규제에 대한 부분이 빠졌다는 것이다. 샌드박스를 통해서 규제 완화 부분도 법에 포함됐으면 좋았을텐데, 그건 시행령을 통해서 신경쓸 필요가 있다.

―미국 트럼프 정부 2기가 출범했는데 AI 정책의 변화는.

▲트럼프 정부의 대원칙은 '아메리카 퍼스트'다. 현재는 AI 규제를 완화하고 있지만 위험성이 커질 경우 미국이 규제를 강화하는 쪽으로 선회할 가능성도 봐야 한다. 챗GPT, 딥시크 등 AI서비스가 고도화되면 폭탄이나 원자력 등 기존 시스템에서 접근이 차단됐던 많은 안보 관련 정보들이 풀릴 수 있다. 굉장히 위험하다. AI 서비스는 실시간 학습을 한다. 무엇을 얼마만큼 알고 있는지 우리가 파악하기 어렵다. 실제 현실에선 접근 차단된 많은 정보들을 정보들이 포함되어 있을 수 있다. 이런 정보들이 제한 없이 풀릴 경우 위험은 커진다. 이런 잠재위험을 감안하면 정부가 사용자마다 등급별 접근 제한을 두는 규제도 생각해볼 수 있다. 트럼프 정부가 AI 규제를 완화하는 이유는 자국 기업에 이득이 되기 때문이다. 그런데 지금 이미 1등 하고 있는 국가인 미국 입장에서 볼 때 규제를 강화시키는 게 더 나을 수도 있다. 사용비를 100배 올릴 수도 있다. AI를 깊게 알수록 (위험성 때문에라도) 규제가 들어갈 수밖에 없다고 생각한다. 이게 국익과 연관되면 우방이라도 제한하지 않겠나.

―AI 안전연구소는 앞으로 어떤 부분에 집중할 계획인가.

▲AI 안전연구소는 기술적 안전성을 연구하는 기관이 아니라 정책, 법률, 윤리, 기술을 아우르는 AI 안전 포털 역할을 해야 한다고 생각한다. 일각에선 AI 안전연구소가 규제기관이라는 이미지 때문에 기업들이 '왜 AI 발전도 못했는데 규제부터 하느냐'는 반응을 보이기도 한다. AI 진흥연구소가 먼저 나와야 하는 거 아니냐는 말도 있다. 내 생각은 반대다. AI 안전연구소는 'AI 셰르파(Sherpa)'다. 히말라야 등반에서 셰르파는 등반대의 장비와 안전상태를 점검하고, 최적의 길을 안내한다. AI 안전연구소도 마찬가지다. 기업이 글로벌 AI 시장에서 성공하려면 연구소가 위험을 최소화하는 가이드 역할을 해야 한다. 단순한 규제기관이 아니라 동반자다. 셰르파는 정상에서 사진 찍을 때 빠진다. 연구소도 기업이 정상에 오르면 뒤에서 지원하는 역할이다.

―앞으로 10년 동안 AI 윤리와 안전성 분야에서 가장 중요한 이슈는.

▲AI 사용자들의 의식 수준이 가장 중요하다. 개발자는 자기 경험 안에서만 부작용을 고려하는데, 수많은 AI 이용자 중에서 AI를 예상치 못한 방식으로 오용하거나 남용하는 사람이 나올 수밖에 없다. 이용자가 1000명이면 AI를 활용하는 방식은 1000가지 이상이다. 이것은 개발자 한 명이 커버할 수 있는 수준이 아니다. 그래서 사용자들의 참여가 중요하다. AI가 신뢰받지 못하면 결국 모든 게 무너진다. 이런 신뢰를 줄 수 있는 주체는 소비자다. AI 소비자들이 공론장에서 AI 문제를 제기하고 논의할 수 있어야 한다.

■ 김명주 AI안전연구소장 약력 △1963년생 △서울대 컴퓨터공학과 석·박사 △서울여대 정보보호학부 교수(현) △바른AI연구센터 센터장(현) △2022년 OECD GPAI(Global Partnership on AI) 익스퍼트 멤버 △한국인터넷윤리학회 명예회장(현) △인공지능윤리정책포럼 위원장 △안드레이아 기관생명윤리위원회(IRB) 위원(현)

yjjoe@fnnews.com 조윤주 기자

Copyrightⓒ 파이낸셜뉴스. 무단전재 및 재배포 금지.