최저가 찾는 네이버 ‘가격비교’ 리스트, AI가 도와준다?

- 사전정보 기반 묶음 분석 태생적 한계…딥러닝으로 텍스트,이미지 분류

[디지털데일리 이안나 기자] 구매자들이 네이버 쇼핑에서 검색어 입력 후 원하는 상품을 눌렀을 때 가장 먼저 눈에 띄는 건 '쇼핑 카탈로그'다. 이는 동일한 상품을 하나로 모아 가격 및 혜택을 비교하도록 만들어놓은 리스트다. 네이버는 이 페이지를 만드는 과정에서 인공지능(AI)를 적극 도입하고 있다. AI가 최저가 비교 검색에 어떤 도움을 주고 있는 걸까?

네이버 서치 CIC 최승권 리더<사진>는 7일 온라인으로 열린 '2021 네이버 검색 콜로키움'에서 발표자로 나서 상품 가격비교를 위해 적용되는 네이버 AI 기술에 대해 소개했다.

네이버 쇼핑 카탈로그는 소비자들에게 중요한 지표로 활용된다. 이를 통해 어떤 사람은 빠르고 간편하게 같은 상품을 제일 저렴하게 구매할 수 있는 방법을 찾고 네이버 혜택 등도 비교할 수 있다. 소비자들에게 편리하고 간편한 기능이지만 쇼핑 카탈로그 뒤에는 복잡한 클러스터링 기술이 담겨있다.

네이버 쇼핑엔 하루에도 수천만 건의 제품들이 새롭게 등록된다. 이중엔 같은 제품도 더러 섞여 있다. 쇼핑 카탈로그 제공을 위해선 같은 제품을 한곳에 모아 가격 등 비교해야 한다. 하지만 서로 다른 쇼핑몰에서 사람이 직접 제품 정보를 입력하다 보니 형식은 통일되어있지 않고 불필요한 정보가 섞여 있기도 하다. 반면 꼭 필요한 정보가 누락되기도 한다.

최 리더는 '10억건 이상 상품을 다루는 만큼 분산 시스템이 빼놓을 수 없는 핵심 기술'이라며 '정해진 형식 없이 나열된 정보들에서 공통 특징을 찾아 동일한 상품으로 클러스터링 해 양질의 상품을 제공하는데 AI기술을 적극 도입하고 있다'고 말했다.

AI는 같은 물건을 판매하지만 다른 이미지를 사용하는 상품을 분류하는데도 도움을 준다.기존 이미지 기반 분류는 이미지가 동일한 URL에 위치하는지 확인하거나 해시 비교를 통해 분류했다. 직관적이고 빠른 방법이지만 같은 제품도 상품 이미지가 조금씩 다를 경우 다른 상품으로 분류될 가능성도 있다. 네이버는동일한 상품 사진들을 같은 공간에 임베딩해 추상화함으로써 상품들을 쉽고 정확하게 클러스터링 한다는 설명이다.

몇 년 전만 하더라도 상품명과 모델 코드 등 특정 용어들을 추출해 클러스터링 했지만 최근엔 관련 기술이 더욱 고도화됐다. 네이버는 이미지뿐 아니라 상품 제목 분석에도 이러한 기술을 활용하고 있다. 또한 상품 65%가 한글,영어가 혼용돼있고 적지 않은 제품들이 중국어,일본어를 사용하고 있지만 다중언어를 인식할 수 있는 시스템을 만들어 기존 방식 대비 약 47% 성능 향상을 이끌어냈다.

최 리더는 '매일 새롭게 등록되고 있는 상품 이름이나 모델번호, 브랜드들은 과거에 존재하지 않았던 새로운 정보들이 대부분이기 때문에 과거 상품 정보들로 만들어진 사전기반 분석은 태생적으로 한계가 있다'며 '이러한 단점을 보완하기 위해 상품 텍스트 정보를 통째로 벡터공간에 임베딩해 동일 상품을 클러스터링 하는 기술을 연구개발 중'이라고 말했다.

10억 단위 정보 클러스터링하는 데에는 매우 많은 연산량이 필요하다. 네이버는 어떤 방법으로 이 문제를 해결했을까. 최 리더는 '모든 데이터를 조회해 매칭하는 기존 클러스터링 방식에서 벗어나 상품 정보검색을 하고 검색된 정보만 대상으로 매칭한 뒤 데이터베이스(DB) 정보를 갱신하는 작업을 하나로 태스크로 정의했다'며 '각각 테스크를 대량 생성해 수백 대 수준 분산 시스템으로 나눠 반복 수행하고 있다'고 전했다.

이런 시스템 구성으로 매일 수천만 건 제품이 등록돼도 빠르고 품질 좋은 상품 클러스터링을 구현해낼 수 있다는 설명이다.

<이안나 기자>anna@ddaily.co.kr

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -