“진짜 AI에 다 맡겨도 됩니까”…못 믿는 사장님들 많으니 ‘이 사업’ 뜨네

크라우드웍스·셀렉트스타 등
보안·신뢰성 검증 솔루션 봇물
정보 오류·편향 파악해 수정

기업 절반 “AI 신뢰성 우려”
금융권 중심 수요 급증세

인공지능(AI) 에이전트 등 AI 서비스 도입 수요가 급증하면서 사전에 AI 서비스의 신뢰성을 검증할 수 있는 솔루션이 잇달아 등장하고 있다. 결과물의 편향성이나 부작용에 대한 우려로 기업들이 AI 도입을 주저하자 이 지점을 공략하기 위해 국내 스타트업이 대거 나서는 것이다.

12일 정보기술(IT) 업계에 따르면 AI 데이터 기업인 크라우드웍스와 셀렉트스타는 지난달 각각 AI 신뢰성 검증 솔루션인 ‘알피 이밸류에이션’과 ‘다투모 이밸’을 출시했다.

두 서비스 모두 AI 모델의 신뢰성과 안전성을 사전에 평가해 기업들이 실제 서비스 도입 전에 AI 서비스의 취약점을 찾아 보완할 수 있도록 하는 것이 특징이다.

검증 과정은 크게 AI 기술을 활용해 평가 대상인 모델의 데이터세트를 분석하고, 해당 AI의 취약점을 이끌어낼 수 있는 질문을 생성해 답변을 분석하는 방식으로 진행된다. 또 부족한 점이 있다면 개선을 위해 AI가 필요한 데이터를 가져와 평가 모델을 보완한다.

AI가 정치적으로 편향된 답변을 제공하거나 부정확한 결과를 도출하는 사례를 잡아내는 것은 물론, 서비스 제공 범위를 벗어나는 내용을 이용자에게 제시하지 않도록 하는 것도 신뢰성 검증 솔루션의 역할이다.

AI를 실제 업무에 활용하고자 하는 기업들의 관심은 그 어느 때보다 뜨겁다. 대한상공회의소의 최근 조사 결과에 따르면 국내 기업의 78.4%가 AI 도입의 필요성을 인식하고 있는 것으로 나타났다. 시장조사기관 CB인사이츠 조사에서는 글로벌 기업 중 63%가 향후 1년 동안 AI 에이전트 도입을 매우 중요하게 고려하고 있다고 답했다.

다만 기업들은 신뢰성과 보안 관련 우려를 AI 에이전트 도입의 장애 요소로 꼽고 있다. CB인사이츠에 따르면 조사 대상 기업 중 47%가 신뢰성과 보안 문제를 우려하고 있다고 답했다. 이는 기업들이 AI를 도입하고자 하는 수요를 확실히 잡기 위해서는 AI의 신뢰성 문제 해결이 선행돼야 한다는 의미다.

크라우드웍스는 AI 모델의 신뢰성 평가와 안전성 평가를 지원한다. 자동화된 솔루션을 통한 검증과 함께 인간 전문가의 평가도 수행함으로써 교차 검증하는 것이 핵심이다.

셀렉트스타는 AI 서비스 유형과 사용 목적에 따라 평가용 질문을 자동으로 생성해 평가하고, 여러 AI 모델의 성능을 비교하는 기능도 제공한다.

신뢰성 검증 솔루션을 채택하고 있는 곳은 최근 고객 대상 AI 서비스를 선보인 금융 부문 기업들이다. 유안타증권이 최근 도입한 주식 종목 분석 AI 에이전트에 크라우드웍스의 솔루션이 활용됐으며, 셀렉스트타의 솔루션 또한 일부 금융권 기업이 도입을 확정 지었다.

SK텔레콤은 독거 어르신 돌봄 서비스에 활용되는 ‘AI 케어’의 대규모언어모델(LLM) 개발 과정에서 AI 보안 스타트업 에임인텔리전스와 손잡고 안전성 검증 절차를 거쳤다. SK텔레콤 AI 케어는 AI가 어르신을 대상으로 먼저 전화를 걸어 대화를 나누는 서비스다.

어르신과의 대화 과정에서 AI가 혐오 발언 등을 해서는 안 되기에 에임인텔리전스는 가장 빈번히 발생할 수 있는 대화 시나리오부터 최악의 대화 결과까지 시뮬레이션을 돌리면서 정치적 답변이나 혐오 표현 등의 위험 항목을 식별해 이를 보완했다.

최근 앤스로픽의 AI 모델 정밀 진단에도 참여한 바 있는 에임인텔리전스는 신뢰성을 검증하는 자체 솔루션 ‘에임 레드’를 통해 해외 진출도 타진하고 있다.

오픈AI나 구글, 메타, 앤스로픽처럼 AI 원천 모델을 만드는 기업은 자체 레드팀을 사내에 두고 자사 모델의 안전성을 평가하고 있다. 레드팀은 해당 모델이나 서비스를 공격해 취약점을 찾고, 이에 대응하는 방법을 연구하는 팀을 말한다.

기업들이 범용 모델 사용에서 나아가 자사 서비스에 특화된 AI 기능과 에이전트 기술 도입에 속도를 내면서 각 사 상황에 맞게 AI 안전성을 강화하려는 수요도 커지고 있다. 김우승 크라우드웍스 대표는 신뢰성 검증의 역할을 강조하며 “AI 도입이 활발해질수록 AI가 안전하고 책임감 있게 활용되도록 검증하는 것이 앞으로 중요한 과제가 될 것”이라고 설명했다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]