AI기술 오용·통제력 상실 … 미래 위험 대응 'AI안전연구소' 출범

지난달 27일 경기도 판교에서는 AI안전연구소(AISI) 개소식이 열렸다. 이날 출범한 AI안전 연구소는 한국전자통신연구원(ETRI) 부설로 신설됐다. AI기술 오용, AI통제력 상실 등으로 생겨날 수 있는 AI 관련 위험에 대응하기 위한 AI안전연구를 전담하는 조직이다. 정부는 연구소를 통해 과학적 연구 데이터에 기반한 AI안전 관련 정책을 개발한다는 계획이다.

한국정보통신기술협회(TTA)는 이번에 출범한 AI안전연구소와 함께 AI안전 컨소시엄 관련 업무협약(MOU)을 체결했다. TTA는 앞으로 AISI와 26개 기업·기관이 참여하는 AI안전 컨소시엄과 긴밀히 연계해 AI안전 역량을 결집하는 데 힘을 보태기로 했다. AI안전 평가 연구를 중심으로 글로벌 AI경쟁에서 한국이 주도권을 확보할 수 있도록 주력할 예정이다.

TTA가 AI안전연구소와 업무협약을 맺은 것은 그간 AI안전과 신뢰를 화두로 연구, 표준화, 인증, 정책 제안 등 다방면에서 AI관련 성과를 축적해온 점을 인정받았기 때문이다.

협회는 그간 AI안전 연구 핵심으로 볼 수 있는 평가방법론과 평가기반을 마련하고, 기술 이해도를 바탕으로 AI 안전 관련 국가 전략·정책 지원에 앞장섰다. 특히 '신뢰할 수 있는 인공지능 개발 안내서'를 마련하고, 다양한 이해관계자 의견수렴을 위한 포럼과 협의체를 운영해 안전한 AI개발 관련 가이드라인을 제시하는 역할을 했다. 이 과정에서 AI안전 관련 컨설팅 필요를 느낀 기업들과 협력 모델을 만들기도 했다.

손승현 TTA 회장은 "이번 컨소시엄은 AI안전 연구를 가속화하고, 연구 범위를 확장하며, 우리나라가 글로벌 AI안전 논의에서 실질적 리더십을 발휘할 수 있는 발판이 될 것"이라며 "TTA는 이를 위해 물심양면으로 지원을 아끼지 않겠다"고 밝혔다.

AI안전 분야 연구개발(R&D)은 평가 중심개발(Evaluation Driven Development)에서 출발한다. AI모델과 시스템의 위험성을 진단하고, 이 위험성을 최소화하는 방식을 개발하기 위한 목적이다. 지난달 20~21일 이틀간 미국 샌프란시스코에서 열린 AI안전연구소 국제 네트워크 회의에서도 주로 논의된 것은 현재 사용되거나 개발 중인 AI모델과 시스템을 어떻게 평가할 것인지와 관련된 평가 기법들이었다. 레드팀 테스트와 벤치마크 데이터셋 활용 등이 이런 평가의 대표적인 사례로 언급됐다. 레드팀 테스트는 AI시스템의 한계나 취약점을 찾아내기 위해 의도적으로 공격적인 접근 방식을 테스트한다. 비정상적이거나 공격적인 질문을 받았을 때 AI모델이 어떻게 반응하는지 관찰하는 식이다. 생성형 AI모델에 불법적 콘텐츠를 요청했을 때 AI모델이 실제 불법적인 콘텐츠를 생산해내는지, 챗봇에 유도 질문을 던져 유해한 발언을 생성하는지 확인할 수 있다. AI시스템이 윤리적으로 설계됐는지 확인하기 위한 테스트로 간주된다.

벤치마크 테스트셋은 여러 AI시스템들이 특정 과제를 어떻게 처리하는지 정량적으로 비교할 수 있게 표준 데이터셋을 사용하는 방식이다. 주로 새로 개발된 AI모델이 과거의 모델보다 성능이 얼마나 개선됐는지 비교하는 데 사용된다.

하지만 이처럼 AI안전을 연구하는 방법론을 사용해 시스템을 검증하더라도 안전이나 신뢰도를 평가하고 보완하는 연구는 AI시스템 개발보다 후행할 수밖에 없는 것이 사실이다. 이 기술적 괴리를 줄이기 위해서는 제도를 만드는 공공기관과 시스템을 연구하는 민간 기업 간 협력과 국제 연구 공조가 필수적이다. 특히 실제 상황에서의 평가 사례를 확보하고, 우리나라만의 연구를 넘어 글로벌 차원에서 표준 규범을 만들어 나갈 수 있는 개방적인 연구 환경이 중요하다.

AI안전연구소와 AI안전 컨소시엄은 국내에서의 연구와 정책 제안으로만 활동 범위를 제한하지 않기로 했다. 글로벌 AI안전 규범을 선도하는 중심축으로 활약할 수 있게끔 민간 기업과 긴밀하게 협조하고, 국가적 연구 역량을 집결해 해외 연구자들과 교류를 확대할 계획이다. TTA 관계자는 "이번 AI안전연구소 개소는 AI기술이 단순히 기술에 머물지 않고 이 기술로 인류 사회에 기여할 수 있는 밑바탕을 마련하는 데 우리나라가 중요한 역할을 하는 발판이 될 것으로 기대한다"고 말했다.

[이유진 기자]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]