1차 검증 마친 'AI 챗봇' 이루다2.0, 제한적 공개 테스트 돌입

스캐터랩이 '친구 같은 AI'를 목표로 개발한 대화형 챗봇 '이루다'. [사진 제공 = 스캐터랩]

인공지능(AI) 챗봇 '이루다 2.0'이 클로즈 베타 테스트를 마무리하고 '공개 베타 테스트'에 돌입한다.

스캐터랩은 일상 대화형 챗봇 '이루다 2.0'의 오픈 베타 테스트를 이달 17일부터 2단계에 걸쳐 진행한다고 14일 밝혔다.

앞서 스캐터랩은 개인정보 보호 조치를 강화하며 새롭게 데이터베이스를 구축하고, 이용자의 어뷰징 발화에 대응할 수 있도록 이루다 2.0을 새롭게 개선했다. 이후 지난 1월 약 8000여명이 참여한 클로즈 베타 테스트를 통해 개선사항 검증 절차를 거쳤다.

AI 챗봇 이루다 2.0 개선사항. [사진 제공 = 스캐터랩]

그 결과 이루다 2.0은 구글의 챗봇 대화 기술 성능 평가 지표인 SSA 78%을 기록했다고 스캐터랩 측은 전했다. 이는 올해 초 구글이 만든 오픈 도메인 챗봇 미나(Meena)의 성능인 76~78%를 웃도는 수준이다. 일반적으로 사람의 발화가 SSA 86%의 점수를 기록하는 것으로 알려졌다. SSA는 챗봇 대답의 적절성과 구체성을 평가한다.

또한 클로즈 베타 테스터의 대화 중 총 2만건을 랜덤 샘플링해 레이블링을 실시한 결과, 이루다 2.0 발화 중 안전하게 답변한 비율은 목표인 99%를 상회하는 99.75%를 기록했다고도 회사 측은 설명했다.

스캐터랩은 17일부터 이루다 2.0을 공개 베타 테스트로 전환해 시스템 운영의 안정성을 점검할 계획이다. 매일 일정 인원을 제한적으로 승인하는 '제한적 공개 베타 테스트'를 먼저 진행한다. 이후 시스템 안정성을 확인한 다음 누구든 자유롭게 신청할 수 있는 '공개 베타 테스트'로 전환한다.

이루다 대화 이미지. [사진 제공 = 스캐터랩]

스캐터랩에 따르면, 이루다 2.0은 딥러닝 알고리즘이 만든 문장으로 답변할 수 있도록 구성됐다. 또한 어뷰징 발화에 대응할 수 있도록 시스템을 마련했다. 선정적·공격적·편향적 문맥으로 탐지·분류된 문장이 있을 경우 해당 카테고리에 적합한 대응 답변을 보내도록 했다. 과거 이루다1.0은 '연애의 과학'을 통해 사용자의 충분한 동의 없이 수집된 실제 사람의 발화를 사용하고, 소수자 혐오·성차별 발언을 쏟아내며 논란을 빚은 바 있다.

김종윤 스캐터랩 대표는 "이루다가 많은 사람들에게 소중한 친구로 남을 수 있도록 지속적으로 기술 개선에 노력할 계획이며, 이를 위해 주기적으로 이루다의 어뷰징 대응 유효성을 확인하고 조치를 취할 예정"이라고 말했다.

[우수민 기자]

[ⓒ 매일경제 & mk.co.kr, 무단전재 및 재배포 금지]