MS, '대화형 AI 웹' 구축 지원하는 'NL웹' 출시..."AI 시대의 HTML 표준"

[박찬 기자]

(사진=MS)

마이크로소프트(MS)가 기존 웹사이트를 누구나 쉽게 인공지능(AI) 챗봇처럼 활용할 수 있도록 돕는 'NL웹(NLWeb)' 프로젝트를 공개했다. 이는 HTML이 문서 기반 웹(Web 1.0)의 표준 역할을 했던 것처럼, AI 시대 웹 상호작용의 새로운 표준을 제시하려는 시도로 주목받고 있다.

MS는 최근 '빌드 2025'에서 웹사이트를 손쉽게 AI 대화형 앱으로 전환할 수 있도록 돕는 오픈 프로젝트 'NL웹(NLWeb)'을 공개했다.

이를 통해 사용자는 검색창에 키워드를 입력하는 대신, 웹사이트에 자연어로 질문하고 대화하듯 정보를 얻을 수 있다. MS는 이를 "AI 시대의 HTML"이라고 소개하며, 복잡한 설정이나 특정 업체 종속 없이 사용할 수 있는 개방형 표준 기술이라는 점을 강조했다.

이처럼 NL웹의 가장 큰 특징은 개방성과 표준성이다. 지금까지 웹사이트가 AI 챗봇을 도입하려면, 오픈AI 등 특정 기업의 API를 연동하거나 비용이 높은 커스텀 계약이 필요했다. 예를 들어, 어떤 쇼핑몰이 챗GPT 기반 검색 기능을 쓰고 싶다면 별도 계약과 개발이 필요했다.

하지만, NL웹은 누구나 자유롭게 사용할 수 있는 오픈 소스이며, 웹사이트에 코드 몇줄만 넣으면 표준화된 방식으로 자연어 인터페이스를 구현할 수 있다. MS는 "더 이상 1대 1 맞춤형 계약이 아닌, 오픈 프로토콜로 전환하는 것"이라고 설명했다.

NL웹은 단일한 제품이 아니라, 웹사이트를 챗봇처럼 작동하도록 만들기 위해 필요한 다양한 요소들로 구성된 경량 서비스 패키지다. 이 시스템은 에이전트 데이터 커넥트 데이터 적재 도구 UI 프론트엔드 등의 컴포넌트로 나뉘며, 각 구성 요소는 자연어 인터페이스 구현을 위해 상호 유기적으로 작동한다.

가장 핵심이 되는 에이전트는 사용자의 질문을 분석하고, 그에 적절한 답변을 생성하는 백엔드 엔진이다. 이 에이전트는 벡터 데이터베이스(DB)에서 정보를 검색하고, 대형언어모델(LLM)을 호출해 응답을 생성하는 역할을 수행한다.

데이터 커넥트는 다양한 LLM과 벡터DB 사이의 연동을 가능하게 하는 모듈이다. 설정 파일만 수정하면 손쉽게 원하는 모델이나 데이터베이스로 교체할 수 있도록 설계돼 있다.

데이터 적재 도구는 웹사이트의 콘텐츠를 읽어 벡터화한 뒤 데이터베이스에 저장하는 기능을 맡는다. 이 도구는 Schema.org 마크업, RSS 피드 등 다양한 반정형 데이터를 자동으로 처리하여, 웹페이지의 글이나 상품 정보 등을 AI가 검색할 수 있는 벡터 형태로 변환한다.

또 UI 프론트엔드는 사용자가 질문을 입력하고 답변을 확인할 수 있도록 돕는 기본 사용자 인터페이스를 제공한다. 이는 웹페이지에 손쉽게 통합할 수 있으며, 필요에 따라 디자인이나 기능을 자유롭게 커스터마이징할 수 있다.

이처럼 NL웹은 백엔드부터 프론트엔드까지 챗봇 구현에 필요한 모든 요소를 한데 갖춘 패키지로 제공되며, 모든 구성 요소는 MIT 라이선스로 깃허브에 오픈 소스로 공개됐다. 개발자는 자유롭게 이 기능들을 활용하거나, 코드를 수정하여 자신만의 특화된 기능을 추가할 수도 있다.

NL웹이 특별한 또 하나의 이유는 'MCP(Model Context Protocol)'를 지원한다는 점이다. MCP는 앤트로픽 등이 주도하는 개방형 표준으로, 다양한 AI가 웹의 외부 도구나 데이터에 접근해 질문하고 응답을 받을 수 있게 해준다.

즉, NL웹이 적용된 웹사이트는 단지 사람만이 아니라 다른 AI 에이전트도 자연어로 질문할 수 있는 구조다. 예를 들어, 어떤 AI 앱이 NL웹 기반 여행사이트에 "서울에서 가장 인기 있는 관광지 알려줘"라고 질의하면, 그 웹사이트가 자체적으로 답변을 만들어 구조화된 형식(JSON 등)으로 응답해 준다.

NL웹의 내부 작동 방식은 최근 AI 분야에서 널리 활용되는 검색 증강 생성(RAG) 기법과 유사한 구조를 따른다. 이 방식은 단순한 질문-답변을 넘어, 사용자 질문에 맞는 정보를 검색하고, 이를 바탕으로 자연스럽고 정확한 응답을 생성하는 과정을 포함한다.

먼저, 웹사이트의 콘텐츠는 미리 벡터화(embedding)되어 벡터 DB에 저장된다. 예를 들어 사이트 내의 페이지, 리뷰, 상품 설명 등 텍스트 기반의 자료들이 AI가 이해할 수 있는 형태로 변환되어 저장되는 것이다.

그다음, 사용자가 자연어로 질문을 입력하면 NL웹은 이를 벡터 형태로 변환하고, 사전에 구축된 벡터DB를 검색해 질문과 관련성 높은 콘텐츠 조각들을 찾아낸다. 예를 들어 "서울에서 가성비 좋은 한식당 알려줘"라는 질문을 하면, 관련된 맛집 리뷰나 지역 정보가 검색된다.

이후 NL웹은 이렇게 찾아낸 콘텐츠를 활용해 프롬프트를 구성하고, 이를 LLM에 전달해 적절한 응답을 생성한다. 이 프롬프트에는 사용자 질문과 함께, 검색된 문서 내용이 함께 포함되며, LLM은 이를 바탕으로 자연스럽고 맥락에 맞는 답변을 만들어낸다.

마지막으로 생성된 응답은 사용자에게 자연어 텍스트로 제공되며, 동시에 개발자를 위해 구조화된 JSON 형태의 데이터도 함께 반환된다. 맛집 추천 질문에 대해 좌표 정보나 예약 링크가 담긴 JSON이 함께 제공될 수 있다.

이런 과정을 통해 NL웹은 사용자가 단순한 키워드 검색이 아니라, 대화 형태로 자연스럽게 질문하고, 그에 맞는 맥락 있는 답변을 받는 경험을 제공한다. 웹사이트 운영자 입장에서는 기존 콘텐츠를 재활용해 손쉽게 AI 기반 챗봇 기능을 구현할 수 있으며, 사용자 입장에서는 더 똑똑하고 인간적인 웹 상호작용이 가능해지는 것이다.

MS는 NL웹을 통해 "사람뿐 아니라 AI도 질문하고 탐색하는 웹", 즉 에이젠틱 웹(Agentic Web)을 실현하겠다는 비전을 제시했다. 사용자 친화적이면서도 기계 친화적인 인터페이스를 제공함으로써, 웹 자체가 하나의 거대한 대화 공간이 되는 것이다.

NL웹은 현재 다양한 웹사이트에서 파일럿 테스트 중이며, 향후 더 많은 플랫폼과 통합될 예정이다. 검색과 챗봇의 경계를 허물고, 웹 전체를 더 똑똑하게 만드는 이 오픈 프로젝트는 AI 시대 웹의 모습에 큰 영향을 줄 것으로 보인다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>