"신뢰받지 못하는 AI는 결국 무너져...안전성 확보는 필수" [AI리더를 찾아서]

김명주 AI안전연구소 소장 인터뷰

김명주 AI안전연구소장이 18일 AI 윤리와 효율적인 AI 안전 정책 방향에 대해 설명하고 있다. 사진=박범준 기자 김명주 AI안전연구소장이 18일 AI 윤리와 효율적인 AI 안전 정책 방향에 대해 설명하고 있다. 사진=박범준 기자

[파이낸셜뉴스] "인공지능(AI) 안전성이란 결국 신뢰입니다. AI가 최근 산업과 사회 전 분야에서 성능을 발휘하고 있지만, 문제는 아직은 '너무 뛰어나지만 신뢰할 수 없는' 기술이라는 점입니다. 신뢰받지 못하는 AI 기술은 언젠간 무너집니다. 안전성이 중요한 이유입니다".

김명주 AI안전연구소 소장( 사진)이 18일 파이낸셜뉴스와의 인터뷰에서 이같이 밝혔다. AI 기술이 급속도로 발전해도 안전성과 신뢰성이 확보되지 않으면 결국 곳곳에서 문제가 발생하며, 결국 AI 산업 전반에도 부정적인 영향을 미칠 것이라는 의미다.

지난해 11월 설립된 AI안전연구소는 고도화된 AI 위험, AI 윤리 문제 등에 대응하기 위해 출범했다. 보다 구체적으로는 안전하고 신뢰할 수 있는 AI의 개발과 활용 환경을 조성하고 국내 AI 기업의 경쟁력 확보 및 글로벌 진출을 지원하는 것이 목표다. 초대 소장인 김명주 서울여대 정보보호학부 교수는 컴퓨터공학을 전공한 AI윤리·신뢰성 전문가로 OECD 글로벌 AI 파트너십(GPAI)의 엑스퍼트 멤버로 활동하며, 지속가능한 AI발전을 위한 국제사회 논의에도 활발히 참여하고 있다. 다음은 김 소장과의 일문일답.

-AI 안전연구소가 지난해 11월 출범했다. 어떤 역할을 맡나
▲정식 명칭은 'AI안전원'(AI Safety Institute)이다. 원자력안전원처럼 AI의 정책과 안전을 관리한다. 캐치프레이즈도 '안전한AI로 만드는 지속가능한 미래'다. 안전과 반대되는 말은 위험이다. AI의 위험을 바라보는 시각은 다 다르다. 기술적인 위험 만을 보는 전문가도 있고 일반 시민들은 AI가 실직을 유발한다거나 딥페이크 문제로 불안해하기도 한다. 이런 고민들이 심해지면 그게 위험이 되는거다. 나는 'AI 잠재 위험 지도(potential risk map)'를 만들 필요가 있다고 생각한다. AI가 사회에 미치는 영향을 분석하고, 정치·사회·문화·노동·환경 등의 부정적 영향을 체계적으로 정리해 해결책을 마련해야 한다. 리스크는 계속 변하겠지만, 이런 잠정적인 맵을 만들어 놓고 계속 업그레이드해야 한다. AI 위험 요소는 국가마다 다를 수 있다. 국제 협력을 통해 공통된 문제를 정리하고, 우선순위를 세워 해결해 나가야 한다고 생각한다.

-정부는 AI 3대 강국(AI G3)을 목표로 설정했다. 천문학적 자금이 투입되는 '별들의 전쟁'에서 한국이 경쟁력을 확보하려면
▲우리가 '규모의 경제'에서 밀리는 것은 맞다. 대형언어모델(LLM) 등의 파운데이션 모델을 포기하고 차별화 전략으로 가자는 말도 일리 있다. 그럼에도 우리만의 AI 경쟁력을 갖추려면 ‘파운데이션 모델’은 반드시 보유해야 한다. 우리가 AI 기술을 글로벌 시장에 수출하려면, 최소한의 기반 모델이 필요하다. 미국과 중국과 1대1 경쟁을 하기는 어렵지만, 중동, 아시아, 아프리카 등 ‘제3 시장’에서 기회를 찾아야 한다. 그런데 중동 지역을 예로 들어보자. 요즘 중동쪽에서 한국 IT 기업을 눈여겨보고 있는데 여러 이유로 미국과 중국 기업을 꺼린다면 제3의 대안이 우리가 될 수 있다. 하지만 한국에 파운데이션 모델이 없다면 중동의 큰손들도 한국 AI기술을 높게 평가하지 않을 것이다. 그러니까 이건 '돈 잡아먹는 하마'라도 하더라도 키워야 한다. 원천 기술이 당연히 있어야 하고 미국이나 중국 수준까진 안되더라도 일단 내세울 뭔가가 있어야 한다. 여기에 안전성까지 확보해야 틈새를 치고 나갈 수 있다. 정부가 AI 인프라 확충을 지원한다면 중소기업이나 스타트업들도 따라갈 수 있는 환경이 만들어질 수 있다. 자국 파운데이션 모델도 없는 나라가 AI G3로 갈 수는 없다.

-이 시점에서 '안전성'이 중요한 이유는 무엇인가.
▲AI 안전성이란 결국 ‘신뢰성’이다. 유럽연합(EU)에서는 ‘트러스트(Trust)’, 영국에서는 ‘세이프티(Safety)’, 미국에서는 ‘릴라이어빌리티(Reliability)’라는 용어를 쓰는데, 의미는 모두 같다. 이번에 찾아온 AI 붐은 과거와는 다르다. AI가 전 분야에서 성능을 발휘하고 있고, 문제는 성능은 뛰어나다. 하지만 믿을 수가 없다. 그래서 신뢰성 문제가 나온다. AI는 인간 개입 없이 자율적으로 움직일 여지가 많다. 그래서 이용자 입장에선 불안하다. 딥페이크로 만든 불법 저작물이 대표적이다. 가짜가 더 진짜같아 보인다. 발전한 AI기술은 양면성이 있다. 안전하지 않으면 결국 외면 받고, 그러다 보면 AI를 만든 기업도 성장하기 어렵다.

-AI안전을 위해 가장 시급한 문제는
▲딥페이크가 가장 큰 문제다. 미국 LA 산불 같은 경우도 엄청난 가짜 영상들이 퍼지지 않았나. 가짜 뉴스, 허위 정보가 범람하면 민주주의가 흔들린다. 선거철이 되면 AI를 이용해 가짜 여론을 형성할 수도 있고 이런 사회적 신뢰를 붕괴시키는 기술은 반드시 규제해야 한다. 생성형 AI도 위험성이 크다. 허위 정보를 진짜인 것처럼 제시하는 환각 현상이 해결되지 않았다. AI가 사람을 대신해 물건을 구매하고, 행동하는 시대가 오면 통제 불가능한 상황이 발생할 수 있다. 이 경우 '킬 스위치'(비상 정지 장치)가 반드시 필요하다. 통제 가능한 AI를 만드는게 그래서 중요하다. AI가 예측 불가능한 결정을 내릴 경우 즉시 멈출 수 있어야 한다. 그래서 AI 기본법에도 ‘비상 정지’ 조항이 포함됐다.

-AI기본법이 EU에 이어 제정되면서 규제가 강화될 것이란 우려가 있다
▲한국의 AI기본법은 EU와는 성격이 다르다. EU의 기본법은 소비자 보호를 위한 규제 중심이다. 그러나 한국 법안에서 AI산업 진흥에 초점을 맞준 내용이 차지하는 비중이 70%정도 된다. 다만 국내법에서도 EU의 법안처럼 고영향AI 가이드라인은 필요하다. EU의 AI법은 2026년에 시행되는데 국내 업체들이 AI서비스를 유럽에 수출하려면 이 규제를 맞춰야 한다. 한국 기업들이 사전에 이를 준비해야 글로벌 시장에 진출할 수 있다는 얘기다. 샌드박스를 통한 규제 완화 내용은 빠졌는데 그 점은 좀 아쉽다. 시행령을 통해서라도 살펴야 한다.

-미국 트럼프 정부 2기가 출범했는데 AI 정책의 변화는 어떻게 보는지
▲트럼프 정부의 대원칙은 '아메리카 퍼스트'다. 현재는 AI 규제를 완화하고 있지만 위험성이 커질 경우 미국이 규제를 강화하는 쪽으로 선회할 가능성도 봐야 한다. 챗GPT, 딥시크 등 AI서비스가 고도화되면 폭탄이나 원자력 등 기존 시스템에서 접근이 차단됐던 많은 안보 관련 정보들이 풀릴 수 있다. 굉장히 위험하다. AI 서비스는 실시간 학습을 한다. 무엇을 얼마만큼 알고 있는지 우리가 파악하기 어렵다. 실제 현실에선 접근 차단된 많은 정보들을 정보들이 포함되어 있을 수 있다. 이런 정보들이 제한없이 풀릴 경우 위험은 커진다. 이런 잠재 위험을 감안하면 정부가 사용자마다 등급별 접근 제한을 두는 규제도 생각해볼 수 있다. 트럼프 정부가 AI 규제를 완화하는 이유는 자국 기업에 이득이 되기 때문이다. 그런데 지금 이미 1등하고 있는 국가인 미국 입장에서 볼 때 규제를 강화시키는 게 더 나을 수도 있다. 사용비를 100배 올릴 수도 있다. AI를 깊게 알수록 (위험성 때문에라도) 규제가 들어갈 수 밖에 없다고 생각한다. 이게 국익과 연관되면 우방이라도 제한하지 않겠나.

-AI 안전연구소는 앞으로 어떤 부분에 집중할 계획인가
▲AI 안전연구소는 기술적 안전성을 연구하는 기관이 아니라 정책, 법률, 윤리, 기술을 아우르는 AI 안전 포털 역할을 해야 한다고 생각한다. 일각에선 AI 안전연구소가 규제기관이라는 이미지 때문에 기업들이 ‘왜 AI 발전도 못했는데 규제부터 하느냐’라는 반응을 보이기도 한다. AI 진흥 연구소가 먼저 나와야 하는 거 아니냐는 말도 있다. 내 생각은 반대다. AI 안전연구소는 ‘AI 세르파(Sherpa)’다. 히말라야 등반에서 세르파는 등반대의 장비와 안전 상태를 점검하고, 최적의 길을 안내한다. AI 안전연구소도 마찬가지다. 기업이 글로벌 AI 시장에서 성공하려면, 연구소가 위험을 최소화하는 가이드 역할을 해야 한다. 단순한 규제기관이 아니라 동반자다. 세르파는 정상에서 사진 찍을 때 빠진다. 연구소도 기업이 정상에 오르면 뒤에서 지원하는 역할이다.

-앞으로 10년 동안 AI 윤리와 안전성 분야에서 가장 중요한 이슈는 무엇인가
▲AI 사용자들의 의식 수준이 가장 중요하다. 개발자는 자기 경험 안에서만 부작용을 고려하는데, 수많은 AI 이용자 중에서 AI를 예상치 못한 방식으로 오용하거나 남용하는 사람이 나올 수 밖에 없다. 이용자가 1000명이면, AI를 활용하는 방식은 1000가지 이상이다. 이것은 개발자 한 명이 커버할 수 있는 수준이 아니다. 그래서 사용자들의 참여가 중요하다. AI가 신뢰받지 못하면 결국 모든 게 무너진다. 이런 신뢰를 줄 수 있는 주체는 소비자다. AI 소비자들이 공론장에서 AI 문제를 제기하고 논의할 수 있어야 한다.

yjjoe@fnnews.com 조윤주 기자

Copyrightⓒ 파이낸셜뉴스. 무단전재 및 재배포 금지.