[제2회 인공지능 신뢰성 대상]우수상-셀렉트스타 'LLM 신뢰성 평가 서비스'

셀렉트스타신뢰성 평가 서비스 개요.

셀렉트스타는 '거대언어모델(LLM) 신뢰성 평가 서비스'를 통해 기업이 안전하고 신뢰할 수 있는 AI 시스템을 구축할 수 있도록 돕는다.

LLM 기반 AI 모델은 서비스 목적과 도메인 특성이 산업별로 크게 다르기 때문에 서비스 목적에 적합한 평가지표 설계와 객관적이고 공정한 평가 방식이 필요하다.

셀렉트스타는 이 같은 원칙을 기반으로 △평가 컨설팅 △서비스 분석 △맞춤형 평가지표 수립 △데이터 구축 △평가 수행 등 체계적 프로세스를 통해 서비스를 제공한다.

첫 단계인 평가지표 및 기준 수립에서는 AI 시스템과 모델을 분석하고, 신뢰할 수 있는 AI의 요구사항을 반영해 평가 항목을 선정한다. 선정된 항목을 기반으로 AI 모델의 기능적 요구사항과 도메인별 특수성을 면밀히 분석한 뒤, 맞춤형 평가지표를 정의한다.

이 과정에서 AI 신뢰성 확보를 위한 정량적·정성적 요소를 균형 있게 반영한다. 금융, 정보기술(IT), 제조 등 각 산업군에서 발생할 수 있는 리스크와 기대치를 충족할 수 있는 평가 항목을 설계한다.

평가 데이터 구축 단계에서는 도메인 전문가와 협력 등을 통해 고품질 데이터를 확보한다. 마지막 평가 단계에서는 명확하고 세분화된 평가 기준을 수립해 객관적이고 공정한 평가가 이루어질 수 있도록 보장한다.

셀렉트스타는 각 산업군 특성에 적합한 데이터를 제공해 평가 결과의 신뢰성을 높이고, 레드팀을 적용해 AI 모델의 취약성을 철저히 검증한다.

셀렉트스타의 LLM 신뢰성 평가 서비스는 금융, 통신 등 다양한 분야에 적용됐다.

신한은행은 금융 AI의 정확성과 보안성을 검증하기 위한 데이터셋을 구축했다. SK텔레콤과 KT는 LLM 서비스의 신뢰성을 검증하고 개선하기 위해 셀렉트스타의 평가 서비스를 도입했다.

셀렉트스타의 아동 대상 대화 애플리케이션(앱) '모모잼'에도 평가 서비스를 적용, 부적절한 답변 가능성을 사전 차단하고 정서적으로 안전한 대화를 보장했다.

현대인 기자 modernman@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]