불만없이 철야하던 이 직원, 회사 들쑤실수도…내년 AI기본법 이것만은

시행 한달 앞둔 AI기본法…CEO가 체크할 리스트는

자사 서비스·제품 분석 필수
‘고영향 AI기업’으로 분류 땐
각종 가이드라인·규제 적용

AI생성물엔 ‘워터마크’ 넣고
사고대응 인프라도 갖춰놔야
정부 “1년간 계도기간 둘것”

내년 1월 시행되는 AI 기본법에 따라 AI 생성물 워터마크 등 투명성·책무 의무가 강화되면서, 특히 스타트업을 중심으로 고영향 AI 분류와 규제 대응 부담에 대한 우려가 커지고 있다. [로이터 = 연합뉴스]

# 인공지능(AI) 기술을 활용한 이미지·영상 편집 서비스를 제공하는 스타트업 A는 다음달부터 자사 서비스를 통해 생성되는 결과물을 AI가 만들었다는 사실을 알리는 워터마크를 마련하고 있다. 다음달 국내에서 시행되는 AI 기본법에 따라 이 같은 투명성 확보 의무가 본격화되기 때문이다. 사람 눈에는 보이지 않는 비가시적 워터마크를 넣을 수도 있지만, 이 경우 영상 시작 부분에 “이 영상은 AI로 생성되었습니다”라는 문구를 넣어야 하는 만큼 어떤 쪽이 더 나을지 고민 중이다.

AI 서비스의 책무와 의무 사항, 위험 분류 등의 내용을 담은 ‘AI 기본법(인공지능 발전과 신뢰 기반 조성 등에 관한 기본법)’ 시행이 한 달 앞으로 다가오면서 AI 기본법의 영향권에 있는 기업들이 대응책 마련에 분주해지고 있다. 특히 AI 기본법이 내년 1월 22일 시행되면 한국은 AI 관련 법을 전면 시행하는 첫 번째 국가로 기록될 전망이다.

21일 정부와 정보통신기술(ICT) 업계에 따르면 AI 기본법은 국가 AI 경쟁력을 높이면서도 부작용은 줄이고 신뢰할 수 있는 활용 기반을 조성한다는 취지로 지난해 말 의결됐다.

AI 사업자가 생성형 AI를 활용한 제품이나 서비스를 제공할 때 이용자에게 사전 고지해야 하는 투명성 확보 의무, 생성형 AI를 이용한 결과물에 대한 워터마크 표시, 중대한 영향을 미치거나 위험을 초래할 우려가 있는 고영향 AI에 대한 정의와 의무 등이 법안의 골자다.

이 밖에도 AI 관련 기관 운영을 위한 근거 마련이나 학습용 데이터 구축 등 산업 육성을 위한 안들이 포함됐다.

전 세계 최초 시행을 앞둔 만큼 국내 AI 업계에서는 법 시행에 따른 혼란을 우려하는 목소리가 커지고 있다. AI를 제공하는 사업자들은 기본법 시행에 따라 지켜야 할 책무들이 보다 강화될 수밖에 없기 때문이다.

AI 생성물에 대한 워터마크 의무화, 의무 불이행 시 진행되는 사실조사에 대한 부담, 또한 강화된 의무가 따라붙는 ‘고영향 AI’에 대한 규제 등이 대표적인 우려 대상으로 꼽힌다.

업계에서는 AI 서비스를 생산하는 기업이 법 시행 초기 혼란을 줄이기 위해서는 기업 상황에 맞는 정밀한 사전 점검과 함께 중장기적인 AI 경쟁력 강화를 고려한 전사 차원의 거버넌스 준비가 필요하다고 조언한다.

우선 가장 시급한 과제는 자사 서비스에 대한 명확한 진단이다. 특히 해당 서비스가 법이 규정하는 고영향 AI나 생성형 AI에 해당하는지 분류하는 작업이 첫 단추로 꼽힌다. 고영향 AI는 ‘사람의 생명·신체의 안전·기본권에 중대한 영향을 미치거나 위험을 초래할 우려가 있는 AI 시스템’을 의미한다. 고영향 AI에 해당될 경우 신뢰성 확보 조치 등 보다 강화된 의무가 부과된다. 만약 자사 서비스가 고영향 AI로 분류될 경우, 보다 정밀하고 체계적인 준비가 요구된다. 학습 데이터의 출처, 편향성 검증 결과 등을 포함한 기술 문서를 체계적으로 정리해 향후 정부의 평가나 점검에 대비해야 한다.

자사 기술과 서비스의 성격을 파악했다면 즉각적인 UI(사용자환경) 정비에 나서야 한다. 이용자가 자신이 AI와 상호작용하고 있다는 사실을 명확히 인지할 수 있도록 사전 고지 문구를 서비스에 삽입하고, 이용약관에도 AI 활용 사실과 오남용 금지 조항 등을 반영해 투명성을 확보하는 것이 급선무다.

내년 1월 시행되는 AI 기본법에 따라 AI 생성물 워터마크 등 투명성·책무 의무가 강화되면서, 특히 스타트업을 중심으로 고영향 AI 분류와 규제 대응 부담에 대한 우려가 커지고 있다. [사진= 연합뉴스]

기술적 대응 역시 서둘러야 한다. 특히 딥페이크 악용 우려와 맞물려 주목받는 ‘AI 생성물 표시’ 방식에 대한 결정이 중요하다. 이용자가 육안으로 확인할 수 있는 가시적 워터마크를 적용할지, 메타데이터 기반의 기술적 표시를 도입할지 등을 판단하고 표시의 신뢰성을 담보할 수 있는 기술 개발을 병행해야 한다.

이와 함께 AI가 편향된 정보를 제공하거나 환각 등 신뢰하기 어려운 결과를 낼 경우, 즉시 사람이 개입해 중단할 수 있는 모니터링 체계와 위험관리 프로세스 구축도 필요하다.

다만 인력과 자원이 충분하지 않은 스타트업의 경우 이러한 준비가 현실적으로 큰 부담으로 작용할 수 있다는 지적도 나온다. 특히 업계에서는 고영향 AI 기준의 모호성을 지적하며 정부가 보다 명확한 체크리스트와 사전 안내 기준을 제시할 필요가 있다고 입을 모은다.

이와 관련해 한 업계 관계자는 “고영향 AI 여부는 자동 의사결정 개입 정도, 최종 결정성, 사용자 통제 가능성 등 구체적인 기준으로 체계화할 필요가 있다”며 “판단이 애매한 경우에는 ‘비고영향 추정’ 원칙을 도입하는 것을 검토해야 한다”고 말했다.

한편 정부는 법의 안착을 위해 최소 1년 이상 과태료 계도 기간을 운영하고, 통합안내지원센터를 통해 기업들의 어려움을 해소한다는 계획이다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]