SKT, 통신 특화 AI '텔코 LLM' 공개…상담시간 대폭 단축

"6월 개발 완료 예정"

SK텔레콤이 국내 통신 용어와 인공지능(AI) 윤리가치 등을 학습한 '통신 특화 거대언어모델(텔코 LLM)'을 6월 중 개발 완료한다. 5G 요금제와 공시지원금 등 통신 서비스에 특화된 점이 강점이다.

SK텔레콤은 30일 오전 10시 서울 중구 SKT타워에서 '텔코 LLM'을 소개했다.

텔코 LLM은 SK텔레콤이 오픈AI, 앤트로픽 등과 협력해 개발한 모델이다. 통신사 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집·선별해 에이닷엑스(SK텔레콤 LLM), GPT(오픈AI LLM), 클로드(앤트로픽 LLM)에 학습시켰다.

에릭 데이비스 SK텔레콤 AI 테크 협력 담당(부사장)은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다. 통신 데이터와 도메인 노하우에 맞춰 조정하는 미세 조정(파인튜닝)과 모델 평가(벤치마킹)를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 했다"며 멀티 LLM을 채택한 이유를 밝혔다.

SK텔레콤은 한국어로 된 통신 데이터를 학습시켜 다양한 텔코 LLM을 개발하고 있다며 성능과 비용 절감 면에서 다변화를 꾀했다고 설명했다.

오픈AI는 지난 5일 기업 특정 도메인에 맞게 AI 모델을 학습시키고 최적화할 수 있도록 지원하는 커스텀 모델을 공개했는데 "특히 SK텔레콤과의 협력을 통해 GPT-4를 미세 조정하고 한국어로 된 통신 관련 대화 성능을 향상시켰다"며 특정 산업 파인튜닝 대표 사례로 언급했다.

SK텔레콤은 범용 LLM 대비 텔코 LLM이 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용성이 높다고 강조했다.

범용 LLM은 통신사 번호이동 방법이나 절차 등 전문 지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코 LLM의 파인튜닝이다.

파인튜닝이 된 텔코 LLM은 휴먼 피드백 기반 강화학습(RLHF) 과정을 거친다. 실제 텔코 LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하는 과정이다. 고객 문의에 대해 유용한 답변을 했는지 문맥을 제대로 이해했는지 등에 대해 채점하는 사람 평가를 통한 강화학습이다.

마지막으로 텔코 LLM 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대한 모델 평가를 진행한다.

예를 들어 고객이 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 파인튜닝 과정을 통해 계속 고도화하는 방식이다. 이 모든 과정은 계속 주기적으로 반복해 텔코 LLM 성능을 향상시킨다.

SK텔레콤은 향후 텔코 LLM 도입 시 3분30초(고객 상담 3분, 상담 후 업무 처리 30초) 이상 소요되는 현 고객센터 상담 대응 시간이 크게 단축될 것이라고 강조했다. 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주기 때문이다.

기존 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색·요약해 답한 후 상담 내용을 기록하는 것까지 전 과정에 숙련되는 데에 많은 경험과 교육이 필요했다면 텔코 LLM이 이 과정을 줄여주는 셈이다.

또 SK텔레콤은 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 한국에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다고 전했다.

정민영 SK텔레콤 AI플랫폼 담당은 "고객센터, 인프라뿐만 아니라 마케팅, 유통망 등 고객 접점이나 법무, 인적자원관리(HR)와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것"이라며 "지속적으로 텔코 LLM을 활용한 유즈케이스(용례)를 늘려갈 계획"이라고 설명했다.

한편 SK텔레콤은 통신사들이 생성형 AI 앱을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다.

SK텔레콤은 멀티 LLM을 쉽고 효율적으로 사용할 수 있는 인텔리전스 플랫폼으로 "상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것으로 기대한다"고 말했다.