“집단지성으로 생성AI 위험 잡는다”…TTA, 4월11일 챌린지

TTA, 생성형 AI의 위험 발굴과 대응 체계 마련을 위한

“생성형 AI 레드팀 챌린지” 개최

[이데일리 김현아 기자]과학기술정보통신부(장관 이종호)와 한국정보통신기술협회(회장 손승현, TTA)가 11일 ‘생성형 AI 레드팀 챌린지’를 코엑스 B2홀에서 개최한다.

생성형 AI는 적용 범위와 기능이 점차 확장되면서, 환각과 탈옥 등 예상치 못한 위험이 지속적으로 발생하고 있다.

이에 전 세계는 미지의 위험을 사전에 발견하고 대응하는 방법론으로 레드팀 테스팅에 주목하고 있다. 특히, 미국은 지난 10월 행정명령을 통해 레드팀 테스팅에 대한 지침 마련과 테스트 결과 제출 요구 등을 관계 기관 및 기업에 요구하기도 했다.

이에 앞서 지난해 8월, 미국은 DEFCON 31 행사를 통해 생성형 AI에 대한 레드팀 챌린지를 개최한 바가 있다. 본 행사는 전 세계에서도 국가 차원의 대규모로 진행되는 2번째 챌린지라고 볼 수 있다. TTA 연구진은 미국 행사에 참석하여 테스팅을 진행했으며, 레드팀 테스팅 수행과 챌린지 진행을 위한 방법론을 분석해 왔다.

TTA는 레드팀 챌린지 개최를 통해, 생성형 AI의 잠재 위험‧취약점을 식별하고 대응하기 위한 AI 위험관리 방안을 정립하고자 한다.

AI 위험관리는 EU AI Act, 美 행정명령, AI 안전정상회의 등 굵직한 글로벌 논의의 기반이 되는 개념이다. 향후, 레드팀 테스팅 기법의 적절한 활용과 확산을 위한 지침을 마련하고, 발견된 위험에 대한 데이터베이스 구축과 공유를 추진한다.

TTA는 그간 과기정통부와 함께 ‘신뢰할 수 있는 개발 안내서’ 발간과 배포, AI 신뢰성 컨설팅 및 자율적인 검인증 모범사례 발굴, 국제협력 및 국제표준화 등 AI 신뢰성 및 안전성 확보를 위하여 전방위적인 노력을 기울여 왔다.

또한, 인공지능 안전·신뢰성 분야 국제표준화 활동을 강화하는 한편, IEEE SA 및 NIST 등 글로벌 주요 기관들과의 협력 체계를 구축하고자 한다.

TTA 손승현 회장은 “이번 레드팀 챌린지는 AI 생태계의 모든 이해 관계자의 참여를 통해 AI의 위험과 안전성에 대한 관심을 환기시키는 계기라는 점에서 의미가 깊다”고 의의를 강조하며 “TTA는 AI 위험관리 마련, 국제협력과 표준화 강화 등 기업의 자발적인 안전신뢰성 확보 노력을 유도하면서도, 이러한 기업의 노력을 객관적으로 확인할 수 있는 공신력 확보하고 유지할 수 있도록 노력을 지속해 나갈 것”이라고 했다.