크라우드웍스, 생성형 AI 신뢰성 평가 프레임워크 개발 착수

TTA 주관 사업에 참여

AI 신뢰성 기반 강화 위한 혁신적 프레임워크 개발

[이데일리 김현아 기자] 크라우드웍스(355390)(대표 김우승)는 17일 한국정보통신기술협회(TTA)가 주관하는 ‘생성형 AI 신뢰성 평가 방안 연구’ 사업을 수주했다고 발표했다.

이 사업은 생성형 AI의 안전성 및 신뢰성을 보장하기 위한 가이드라인을 마련하는 것을 목표로 하며, 크라우드웍스와 자연어 처리 솔루션 전문 스타트업 ㈜테디썸(대표 함영균), 연세대학교 김한샘 교수 연구팀이 컨소시엄을 이뤄 참여한다.

AI 신뢰성 평가 프레임워크 개발의 목표

이번 프로젝트의 핵심은 생성형 AI의 신뢰성 평가 프레임워크를 개발하고 확산시키는 것이다. 연구는 생성형 AI의 주요 위험 요소를 체계적으로 정의하고, 사회·문화적 특성을 반영한 실용적인 신뢰성 평가 프레임워크를 구축하여 AI의 위험과 부작용을 최소화하는 것을 목표로 한다. 주요 사업 범위는 다음과 같다.

생성형 AI 위험 정의 및 분류 체계화, 위험-평가 매트릭스 매핑 구조 설계, 레드팀 테스팅 기법 수집 및 교육자료 작성, 평가 메커니즘 설계, 평가 방안의 실용성 파악을 위한 시범 적용 등이다.

크라우드웍스는 하이퍼클로바X, 엑사원 등 LLM(대형 언어 모델) 프로젝트에서 학습 데이터 구축과 모델 평가 검증 경험을 바탕으로, 생성형 AI 평가 프레임워크의 실증 및 교육자료 개발을 맡는다.

AI 신뢰성 확보를 위한 데이터 활용

크라우드웍스는 국내외 레드팀 테스팅 기법을 수집하여 악의적 프롬프트의 특징과 패턴을 도출하고, 이를 바탕으로 공격 프롬프팅 기법 및 유형 분석 내용을 포함한 레드팀 교육 가이드를 개발할 계획이다. 또한, 국내 AI 모델을 대상으로 실제 공격을 수행하고 개선점 및 대응 방안을 제시하여 프레임워크의 실증을 진행할 예정이다.

크라우드웍스는 AI 생태계에서 구축한 데이터 기술 경쟁력과 차별화된 전문성을 바탕으로 AI 기술 저변과 리더십을 확대하고 있다. 2022년에는 데이터 라벨링 기술 2건이 TTA의 단체표준으로 채택되어, 국내 데이터 산업의 활성화에 기여한 바 있다.

김우승 크라우드웍스 대표이사는 “AI 신뢰성과 안전성 평가 프레임워크는 AI 평가 표준화를 가속하고, AI의 상호운용성 및 호환성을 높여 AI 산업 발전 속도를 높일 것”이라며, “AI 신뢰성 기술 영역에서도 리더십과 경쟁력을 확보하고 우리나라가 AI 강국으로 도약할 수 있도록 최선을 다하겠다”고 전했다.