빅테크 “AI위험 통제 어려우면, 서비스 중단” [AI 서울정상회의]

프런티어 AI 안전 서약 합의
한국·영국 양국 정부 발표
AI 위험 평가 위한 연구소 설립
“통제 못할 경우 스스로 서비스 중단”

윤석열 대통령이 21일 오후 청와대 영빈관에서 열린 AI서울 정상회의에서 참가국의 발언을 듣고 있다. 대통령실제공

대규모 허위 정보를 유포하거나 사기에 악용될 인공지능(AI)에 대한 서비스 배포가 전면 중단된다. 또 인종, 성별, 문화, 나이, 장애 등을 활용해 편향된 결정을 내리는 AI 서비스 역시 중지된다.

글로벌 주요 정상들과 빅테크 기업은 21일 온라인으로 열린 ‘AI 서울정상회의’에서 이 같은 내용을 추진하는데 전격 합의했다. 이른바 ‘프런티어 AI 안전 지침’이다. 프런티어란 첨단이란 뜻이다. 이날 회의는 한국과 영국 정부가 주최했다. 한국 기업으로는 삼성전자와 네이버가 참여했다. 해외 빅테크 및 스타트업으로는 마이크로소프트(MS) 구글 아마존 메타 IBM 오픈AI 미스트랄AI xAI 지푸AI 등이 동참했다.

한국 영국 정부는 “올해 말 또는 내년 초 열리는 프랑스 AI 정상 회의까지 중대한 위험에 초점을 맞춘 안전 프레임워크를 발표할 예정”이라면서 “기술이 발전함에 따라 AI 방식은 현재보다 크게 진화할 수 있으며, 이 경우 공공 업데이트를 통해 투명성을 제공하겠다”고 말했다.

세계 정상과 빅테크 기업이 공감한 내용은 크게 △내·외부 레드팀을 통한 AI 모델에 대한 위협 평가 △유해 정보 발생시 해당 내용 공유 △ 사이버 보안 및 내부 위협 방지에 대한 투자 △ 제3자를 통한 문제점 점검과 보고 장려 △ AI 생성 콘텐츠 식별 메커니즘 개발 등이다.

특히 정상들은 성명에서 “참여 기업은 AI 모델과 시스템 개발 및 배포 시 위험을 효과적으로 식별, 평가 및 관리할 것”이라면서 “이를 위해 모델 또는 시스템의 AI 수명 주기 전반에 걸친 위험을 평가할 것”이라고 설명했다.

이번 합의의 핵심은 AI 위험 임계값을 설정하는 것이다. 임계값은 각국 정부를 포함해 신뢰할 수 있는 기관의 의견을 수렴, 규정하기로 결정했다. 만약 AI 기업들이 모델이 임계값을 초과할 염려가 있다고 판단됐을 때는 시스템 동작 수정, 미공개 모델 가중치에 대한 제어 등 임계값 이내로 유지하기 위한 위험 완화 노력을 다해야한다. 만약 위험 수위가 높다고 판단될 경우 기업은 스스로 배포를 중단해야한다.

윤 대통령은 개회사에서 “생성형 AI 등장 이후 AI 기술이 전례 없는 속도로 발전하면서 인류 사회에 막대한 파급 효과를 가져올 것으로 전망된다”며 이같이 말했다고 대통령실은 전했다. 윤 대통령은 “지난해 11월 영국 블레츨리 파크에서 개최된 ‘AI 안전성 정상회의’에서 AI 안전을 논의했고, 후속 회의인 이번 서울 회의는 혁신과 포용까지 논의의 지평을 넓히는 의미가 있다”고 평가했다. 그러면서 “이번 회의는 한국 정부가 수립한 디지털 권리장전, 유엔 총회의 AI 결의안, 주요 7개국(G7) 차원의 히로시마 AI 프로세스 등 그간의 노력을 결집해 글로벌 차원의 AI 규범과 거버넌스를 진전시키는 계기가 될 것”이라고 강조했다.

리시 수낵 영국 총리는 “전 세계 다양한 지역의 수많은 선도적인 AI 기업이 모두 AI 안전에 대한 약속에 동의한 것은 세계 최초”라면서 “이러한 약속을 통해 세계 유수의 AI 기업들은 안전한 AI 개발 계획에 대한 투명성과 책임성을 확보할 수 있다”고 강조했다.

이에 대해 이종호 과학기술정보통신부 장관은 “AI 기술 발전을 유지하고 AI의 기회와 혜택을 극대화하기 위한 것은 매우 중요하지만, 이는 한 국가나 기업의 노력만으로는 달성할 수 없다”면서 “프런티어 AI 안전 서약을 환영하며, 기업들이 설계, 개발, 배포, 사용 등 AI 라이프사이클 전반에 걸쳐 실효성 있는 안전 조치를 이행해 주길 기대한다”고 말했다.

또 영국 미셸 도넬란 과학기술 혁신부 장관은 “AI의 진정한 잠재력은 우리가 위험을 통제할 수 있을 때에만 발휘될 것”이라며 “AI가 안전하게 개발될 수 있도록 하는 것은 우리 모두의 책임이며, 오늘 협약으로 전 세계 AI 기업들의 약속을 강화하고 더 나은 대표성을 확보하게 됐다”고 설명했다.

(다음은 주요 빅테크 인사 발언)

• 구글 딥마인드의 법률 고문 겸 거버넌스 책임자 톰 루

“이번 약속은 선도적인 개발자들 사이에서 AI 안전에 관한 중요한 모범 사례를 확립하는 데 도움이 될 것입니다. 이 협약은 과학적 근거에 기반한 대화를 나눌 수 있는 집중적인 국제 안전 서밋의 가치를 보여줍니다.”

• 링크드인 공동 창업자 리드 호프만

“AI는 인간의 삶과 업무에 엄청난 개선을 가져왔고 앞으로도 가져올 것입니다. 하지만 위험을 관리하는 것 또한 매우 중요합니다. 그렇기 때문에 이러한 약속은 첨단 AI의 가장 심각한 위험을 관리하는 데 있어 매우 중요한 진전입니다.”“

• 지푸AI CEO 펑 장

“일반인공지능(AGI)은 우리 삶의 다양한 측면을 변화시킬 가능성을 가지고 있지만, 이 첨단 기술에는 AI 안전을 보장해야 하는 중대한 책임도 따릅니다. AGI의 영역을 더 깊이 파고들수록 AI 시스템을 인간의 가치와 윤리적 기준에 맞출 수 있는 강력한 안전 대책을 먼저 개발하여 AI가 주도하는 세상에서 우리의 미래를 보호하는 것이 필수적입니다.”

• AI 3대 석학 요슈아 벤지오 교수

“전 세계의 선도적인 AI 기업들이 프런티어 AI 안전 서약에 가입하게 되어 기쁘게 생각합니다. 특히, 극단적인 위험을 초래하는 모델을 안전하게 만들 수 있을 때까치 중단하겠다는 기업들의 약속과 위험 관리 관행에 대한 투명성을 높이기 위해 취하고 있는 조치들을 환영합니다.”

• 아마존 글로벌 공공 정책 담당 수석 부사장 겸 법률 고문인 데이비드 자폴스키

“아마존은 안전하고 보안이 철저하며 신뢰할 수 있는 프런티어 AI 개발 및 배포를 위한 글로벌 규범을 확립하기 위한 다년간 노력의 정점을 보여주는 프런티어 AI 안전 약속을 지지하게 된 것을 자랑스럽게 생각합니다. AI 기술이 계속 발전함에 따라 기업이 프런티어 모델의 잠재적 위험을 어떻게 관리하고 글로벌 약속을 지키고 있는지에 대한 투명성을 제공하는 것이 중요하다는 데 동의합니다.”

• 오픈AI의 글로벌 업무 담당 부사장인 안나 마칸주

“AI 안전 분야는 빠르게 진화하고 있으며, 특히 과학과 함께 접근 방식을 개선하는 데 중점을 둔 이번 약속을 지지하게 되어 기쁘게 생각합니다. 앞으로도 다른 연구소, 기업, 정부와의 협력을 통해 AI가 안전하고 모든 인류에게 혜택을 줄 수 있도록 최선을 다할 것입니다.”

• xAI의 안전 고문 댄 헨드릭스

“이러한 자발적 약속은 전 세계 주요 AI 기업들이 기본적인 안전 표준에 동의한다는 것을 의미합니다. 이는 구체적인 국내 규제의 토대를 마련하는 데 도움이 됩니다.”

• 마이크로소프트 부회장 브래드 스미스

“MS는 안전하고 안전하며 신뢰할 수 있는 방식으로 AI 시스템을 발전시키기 위한 원칙적이고 인간 중심적인 접근 방식을 구현하기 위한 작업을 시작했습니다. 프런티어 AI 안전 약속은 AI 개발의 최전선에서, 특히 기능이 발전함에 따라 발생할 수 있는 위험을 해결하기 위해 안전 프레임워크가 어떻게 도움이 되어야 하는지에 대한 중요한 인식입니다. 기술 업계는 과학과 사회적 기대에 부응하기 위해 정책과 관행, 그리고 프레임워크를 지속적으로 조정해야 합니다.”

• IBM 최고 개인정보 보호 및 신뢰 책임자 크리스티나 몽고메리

“IBM은 기업의 책임과 함께 효과적인 규제가 뒷받침되어야 기업과 사회 전체가 AI의 혜택을 누릴 수 있다고 믿습니다. 따라서 우리는 AI 서울 서밋을 통해 국제적인 참여와 안전하고 책임감 있는 기술 개발을 위한 노력을 지속하게 된 것을 자랑스럽게 생각합니다.“

• 메타 글로벌 업무 사장 닉 클레그

“업계가 AI 기술 개발에 큰 진전을 이루면서 안전과 혁신을 함께 보장하는 것이 그 어느 때보다 중요해졌습니다. 이를 위해 작년에 열린 영국 회의 이후 최신 오픈 소스 모델인 라마(Llama 3)와 새로운 오픈 소스 안전 툴을 출시하여 개발자가 모델을 안전하게 배포하는 데 필요한 기능을 갖추도록 지원하고 있습니다. 오랫동안 말씀드렸듯이, 혁신을 발전시키고 최대한 많은 사람들에게 가치를 제공하기 위해서는 이 기술에 대한 접근성을 민주화하는 것이 필수적입니다. 다음 회의를 앞두고, 책임감 있는 AI에 대한 글로벌 접근 방식을 보장하기 위한 국제적인 이니셔티브의 지속적인 노력을 기대합니다.“

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]