생성형 AI 기반 검색 기능은 개발자가 작업 속도를 높이고 효율을 극대화하며 품질을 개선하기 위해 점점 더 많은 도구에 통합되고 있다. 빠르게 성장하는 스타트업 퍼플렉시티(Perplexity)는 이 흐름의 핵심에 있으며, 최근 자사의 검색 기능을 API(응용프로그램 인터페이스) 형태로 제공함으로써 그 경쟁력을 더욱 강화했다. 이 API는 수십억 개의 웹 페이지로 구성된 대규모 웹 인덱스를 개발자에게 개방한다.
노스웨스트 AI 컨설팅(Northwest AI Consulting)의 와이엇 메이햄은 “퍼플렉시티가 검색 API를 개방한 것은 중대한 사건”이라며 “수천억 개 페이지에 달하는 실시간 인덱스에 접근할 수 있게 됐다는 점에서, 그동안 구글과 마이크로소프트만이 독점해온 데이터를 개발자에게 돌려준 것과 같다”라고 평가했다. 와이엇 메이햄은 이 조치가 퍼플렉시티를 단순한 사용자용 응답 엔진이 아닌 검색 인프라 플랫폼으로 전환시킨다고 설명했다.
문단 단위가 아닌 ‘스니펫’ 단위 검색 결과 제공
퍼플렉시티의 검색 API는 AI 워크로드의 요구에 맞춰 설계됐으며, AI 애플리케이션에서 바로 사용할 수 있는 구조화된 응답을 제공한다. 이 API의 색인 및 검색 인프라는 문서를 하위 단위로 분할한 뒤, 원 쿼리 조건에 따라 각각 점수를 부여하고, 이 점수 기반으로 관련성 높은 스니펫(snippet)을 반환한다.
와이엇 메이햄은 “전체 페이지를 반환하는 대신, 문단 단위로 키워드 신호와 의미 기반 신호를 결합해 순위를 매긴다”며 “이는 대규모 언어 모델에게 더 적절한 문맥을 제공하고 전처리 과정의 번거로움을 줄여준다”라고 설명했다.
이 API는 지역 및 날짜별 필터링이 가능하며, 1,000건 요청당 5달러라는 간단한 요금 체계를 적용해 복수 쿼리를 묶어 처리할 수 있다. 와이엇 메이햄은 “개발자가 이제 스크래핑이나 제3자 API 조합 없이도 검색 기반 생성(RAG), 에이전트 기반 워크플로, 검색 애플리케이션을 직접 구축할 수 있게 됐다”라고 강조했다.
와이엇 메이햄은 “AI 개발자에게는 신선한 데이터가 가장 중요하지만, 기존 검색 에이전트용 API는 ‘느리거나, 제약이 많거나, 아예 종료됐다’는 점에서 실효성이 낮았다”라고도 지적했다. 실제로 많은 기업이 원하는 데이터를 확보하기 위해 매달 수천 달러를 웹 스크래퍼에 지출하고 있다.
인포-테크 리서치 그룹(Info-Tech Research Group)의 토마스 랜달 역시 “퍼플렉시티의 검색 API는 크롤링, 중복 제거, 결과 정렬, robots.txt 준수 같은 번거로운 과정을 생략할 수 있어 개발자에게 큰 도움이 된다”라고 평가했다. 토마스 랜달은 퍼플렉시티의 검색 API가 LLM 기반 스타트업이나 사내 툴에서 기본 검색 계층으로 자리 잡을 수 있으며, 인기 LLM API와 통합될 경우 그 가능성은 더욱 커질 것이라고 분석했다.
SDK 및 오픈소스 평가 프레임워크 동시 공개
퍼플렉시티는 검색 API와 함께 SDK(소프트웨어 개발 키트), 오픈소스 평가 프레임워크, 그리고 검색 API의 설계 및 평가 방식을 담은 기술 백서도 함께 공개했다.
퍼플렉시티는 연구자와 개발자에게 이 평가 프레임워크 searchevals를 활용해 공개 검색 API의 성능을 직접 테스트해 볼 것을 권장하고 있으며, 단일 질의 기반 검색 및 심층 연구형 에이전트 워크플로에서 출력 품질과 지연 시간 면에서 자사가 경쟁 제품보다 앞서 있다고 주장했다.
와이엇 메이햄은 SDK 덕분에 API 활용이 쉬워졌으며, 출처가 명시된 구조화 응답은 환각(hallucination) 문제를 줄이는 데 효과적이라고 평가했다. 와이엇 메이햄은 퍼플렉시티가 “고객 데이터를 모델 학습에 사용하지 않겠다”라고 약속한 점은 특히 기업 고객에게 중요한 신뢰 요소라고 강조했다. 또한 대다수 검색 API가 블랙박스처럼 작동하는 반면, 퍼플렉시티는 투명한 오픈 평가 도구를 제공한다는 점에서 “신선하다”라고 언급했다.
정보 신선도 확보를 위한 아키텍처
퍼플렉시티는 설립 초기부터 정확도를 최우선 가치로 삼아왔으며, 연구개발 투자 역시 출처 검증 및 정보 일관성 확보에 집중해왔다고 밝혔다.
퍼플렉시티는 자사 블로그에서 “AI 에이전트가 실패하는 가장 큰 이유는 정보의 노후화”라며, 이를 해결하기 위해 색인 작업을 실시간 처리하도록 아키텍처를 최적화했다”라고 설명했다. 현재 퍼플렉시티의 시스템은 매초 수만 건의 인덱스 업데이트 요청을 처리할 수 있다.
퍼플렉시티의 콘텐츠 이해 모듈은 웹의 비정형 콘텐츠를 처리하기 위한 파싱 로직을 자동 생성하며, 반복적 자기 개선을 통해 색인 품질을 지속적으로 향상시킨다.
퍼플렉시티는 자사 제품이 사람과 AI 에이전트 모두 사용할 수 있도록 설계됐으며, 자사 엔지니어들이 AI 코딩 도구와 검색 SDK를 조합해 1시간 이내에 프로토타입을 구현한 사례도 다수 있다고 밝혔다.
AI 검색 시장에서의 지속적 차별화
2022년 설립 이후 퍼플렉시티는 꾸준한 기능 출시로 AI 검색 시장에서 존재감을 키워왔다. 현재 퍼플렉시티는 시간당 수백만 건의 사용자 쿼리를 처리하고 있다고 주장한다.
2022년 12월, 퍼플렉시티는 자체 검색 엔진 Perplexity Search를 출시했고, 이후 Deep Research(종합 리포트 생성), Perplexity Labs(10분 이상 자율 작업 에이전트), AI 통합 브라우저 Comet, 이메일 자동화 비서 등을 연이어 공개하며 기능 포트폴리오를 넓혀왔다.
이번 검색 API 공개는, 구글이 반독점 조사를 받고, 기존 검색 엔진의 AI 요약 기능이 사용자 불만을 야기하고 있는 시점과 맞물린다. 퍼플렉시티는 최근 구글 크롬 브라우저를 345억 달러에 인수하겠다고 밝히며 시장 참여 의지를 명확히 드러내기도 했다.
하지만 와이엇 메이햄은 “퍼플렉시티가 구글과 직접적인 경쟁 구도에 들어섰다고 보기는 어렵다”라고 평가했다. 와이엇 메이햄은 “퍼플렉시티의 행보는 구글의 검색 데이터 독점에 압박을 가하는 것이며, 본격적인 경쟁은 아니다”라고 분석했다. “구글은 여전히 하루 수십억 건의 검색을 처리하고 있으며, 20년의 기술 격차를 보유하고 있다”는 설명도 덧붙였다. 와이엇 메이햄은 “최소한 개발자에게 신뢰할 수 있는 대안을 제공함으로써, 검색 시장의 개방성과 투명성 확보에 기여할 수 있다”라고 밝혔다.
토마스 랜달 역시 퍼플렉시티의 API가 지금 당장 구글, 마이크로소프트 등 대형 사업자와 경쟁할 수준은 아니다라고 선을 그었다. 토마스 랜달은 “퍼플렉시티가 주장하는 범위나 지연 시간, 안정성에 대해 독립적 벤치마크 자료나 제3자 감사 결과가 없다”며, “현재로선 개발자들이 퍼플렉시티의 성능 주장을 신뢰에 기반해 받아들이는 셈”이라고 평가했다. 그는 “검색 API가 마케팅을 위한 시도는 아니지만, 아직은 검증되지 않은 색인임은 분명하다”라고 덧붙였다.
또한 토마스 랜달은 퍼플렉시티가 구글이나 마이크로소프트가 구조적으로 따라 하기 어려운 요소가 무엇인지 명확히 해야 한다고 지적했다. 예를 들어, 롱테일 소스에 대한 크롤링 의지나 개발자 맞춤 아키텍처 등이 차별점이 될 수 있다는 설명이다.
끝으로 토마스 랜달은 검색 API라는 사업 모델이 퍼플렉시티에게 지속 가능한 수익 구조가 될 수 있을지에 대해서도 의문을 제기했다. 토마스 랜달은 “웹 전체를 대상으로 한 크롤링과 색인은 극히 비용이 큰 작업”이라며 “아무리 효율적인 시스템 구조를 갖추더라도, 대역폭, 저장소, 중복 제거 등을 포함한 연간 비용은 수억 달러에 이를 것”이라고 분석했다.
dl-itworldkorea@foundryco.com
Taryn Plumb editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.