어디까지가 '고위험AI'인가…AI법 제정 핵심 논제로 부각

21대 국회서 소위 의결후 '폐기'…개원 한 달 만에 6개 법안 제출

'고위험AI' 여부 과기부 장관테 확인 요청받아야

"고위험AI 범위 넓혀야" VS "AI산업 경쟁력 뒤쳐진다"

'딥페이크' 논란…생성형AI 활용엔 '워터마크' 등 표시 필요

일러스트=챗GPT 달리3

[이데일리 최정희 기자] 22대 국회에선 인공지능(AI) 기본법 제정이 핵심 의제가 될 전망이다. 챗GPT 등 생성형AI가 빠르게 확산하면서 AI기본법은 ‘AI발전 촉진’과 ‘안전 관리 강화’라는 두 마리 토끼를 잡는 데 주력할 것으로 보인다. 우리나라는 AI산업 발전을 위해 민간 자율을 강조한 미국과 규제에 초점을 맞춘 유럽의 중간자적 입장에서 논의가 진행되고 있다.

AI 안전 관리와 관련된 ‘규제’ 측면에선 의견이 갈린다. 먹는 물, 생체인식 등 일명 ‘고위험 영역의 AI’ 범위를 얼마나 확대할 것인지부터 제재 필요성까지 논란이 치열하다. 우리나라 AI기술 경쟁력은 세계 1, 2위인 미국, 중국에 비해 절반 수준에 불과한데 규제가 자칫 AI발전을 뒤쳐지게 만들 수 있다는 우려도 나온다.

출처: 국회 과학기술정보방송통신위원회

◇ AI개발 제한되는 ‘고위험AI’ 범위 논란

국회 과학기술정보방송통신위원회(과방위)에 따르면 22대 국회가 개원한 지 한 달 여만에 6건의 AI기본법이 제출됐다. 이들 대부분의 법안은 작년 2월 21대 국회 과방위 정보통신방송법안심사소위원회에서 의결된 내용과 유사하다. 다만 그 뒤로 챗GPT4가 출시되면서 생성형AI 확산이 급속도로 빨라졌다. 이에 따라 AI개발에 제한을 둔 ‘고위험AI’ 범위를 어디까지로 봐야 할지에 논란이 커지고 있다.

5개 법안은 고위험AI 범위를 먹는 물·생체정보·보건의료·핵·원자력·교통시설·대출심사 등으로 정하고 있다. 작년 소위 의결안과 유사하다. 고위험AI 개발·사업자는 과학기술정보통신부 장관에게 고위험AI 여부를 확인 요청 토록하고 관련AI 서비스 제공자는 고위험 AI에 기반해 운용된다는 사실을 이용자에게 고지토록 한 것도 공통점이다.

권칠승(더불어민주당) 의원안만 인간 존엄·인류 안전에 심각한 침해가 있는 경우를 ‘금지된 AI’로 규정, 관련해선 AI개발이 이뤄지지 않도록 했다. 다만 구체적인 안은 대통령령에서 정하도록 했다. 고위험AI 여부를 판단할 때 법안에 따라 설치될 AI위원회 심의를 거쳐 검·인증을 받도록 해 여타 법안보다 심사 과정을 까다롭게 했다.

참여연대 등 14개 시민사회단체에선 고위험AI 범위를 확대해야 한다고 주장하고 있다. 이들은 1일 성명서를 발표하고 “출입국 관리·경찰 수사·재판·선거·학교 교육 뿐 아니라 생체인식 외 감정 인식 등 인권에 중대한 영향을 미치는 분야에 대해서도 고위험AI로 분류해야 한다”고 밝혔다.

과방위는 이달초 발간한 보고서에서 “시민사회단체는 고위험AI 범위가 협소하고 규제 수준이 미흡하다고 하고, 국가인권위원회도 고위험AI 범위 확대 필요성을 언급했다”며 “고위험AI 규제 내용·정도에 대한 사회적 합의가 필요하다”고 밝혔다.

AI산업 이제 막 시작인데..강력 규제는 ‘발달 저해’

초거대AI추진협의회 등 업계에선 AI산업이 발전 초기 단계인데다 글로벌 시장 선점이 중요해 강력한 규제를 도입하는 것은 경쟁력을 저하시킨다는 의견이 나온다.

영국 토터스 미디어(Tortoise Media)에 따르면 AI 역량을 투자·혁신·구현 측면에서 평가한 결과 우리나라는 62개국 중 7위(2023년)를 기록했다. 점수로 따지면 40점으로 1위 미국(100점), 2위 중국(62)과는 차이가 벌어진다. 인프라 등에선 점수가 높으나 AI인재 양성, 상업적 활용 등에선 낮다.

이런 이유로 ‘금지된AI’를 개발하거나 고위험AI 인증 및 고지 의무를 위반한 사업자에게 벌금형, 징역형을 부과토록 한 권칠승 의원안에 대해선 과도하다는 평가도 나온다.

남철기 과기정통부 인공지능기반정책과장은 16일 관련 입법 토론회에서 “사업자 의무 위반에 대한 제재 규정 도입은 AI산업 수준에 대한 고려와 함께 사회적 합의가 필요하다”며 “강력한 규제가 담긴 AI법을 제정한 유럽연합(EU)도 고위험AI 규제 시행을 2~3년 후로 정하고 있어 우리도 글로벌 규범 정합성에 부합할 필요가 있다”고 밝혔다.

AI기반의 사이버 공격을 막는 데에도 강한 규제는 오히려 해가 될 수 있다는 주장도 제기된다. 곽진 아주대 사이버보안학과 교수는 18일 세이프위드구글(Safer with Google) 기자회견에서 “사이버 공격자는 법이나 규제와 무관하게 (해킹 등) 목표만 달성하면 된다”며 “규제를 많이 할수록 공격을 막는 방어자들은 상대적으로 AI기술을 발전시키기 어려워지고 그 부분이 위협으로 작용할 수 있다”고 밝혔다. 이어 “AI자체를 규제하기보다 AI를 특정 산업 분야에서 활용할 때 어떻게 활용하는 것이 안전하다는 식으로 가이드라인을 주는 편이 낫다”고 덧붙였다.

딥페이크인지 ‘표시’에는 공감

딥페이크 영상 등이 논란에 휩싸이면서 생성형AI를 활용해 만든 콘텐츠에 워터마크 등 표시 의무가 부과돼야 한다는 데는 어느 정도 공감대가 형성돼 있다. 과기정통부도 필요성을 인정하고 있다. 6개 법안 중 4개 법안이 생성형AI를 활용한 콘텐츠에 표시 의무를 부과토록 하고 있다. 21대 국회에선 논의된 바 없었던 내용이다.

EU AI법은 생성형AI를 활용해 콘텐츠를 생성·조작하는 경우 딥페이크 사실을 공개토록 했고 미국은 정부가 AI 생성 콘텐츠에 대한 워터마크 지침을 개발토록 했다. 구글, 오픈AI 등 7개 기업은 AI 기술로 작성된 콘텐츠에 워터마크를 넣은 등 이용자 안전 조치를 취하기로 합의했다.

다만 정종구 서울대 컴퓨터공학부 강사는 16일 입법 토론회에서 “AI가 전부 만든 생성물과 보조를 받아 만든 생성물을 구별할 수 있을지 의문”이라며 “오탈자 교정, PPT 작성에 도움을 받을 경우 AI를 기초로 작성했다고 표시해야 할지 의문”이라고 말했다.