윈도우11에 새로 추가된 ‘로컬 AI’…조용한 LLM 혁신 : zum 뉴스

많은 사용자가 챗GPT나 구글 제미나이(Gemini)처럼 클라우드 기반 AI를 떠올리지만, 마이크로소프트는 훨씬 간단한 방법으로 로컬 AI 실행 환경을 제공하는 도구를 선보였다.

마이크로소프트는 지난주 개발자 행사 빌드에서 ‘마이크로소프트 파운드리 로컬(Microsoft Foundry Local)’을 발표했다. 이 도구는 명령줄 기반의 유틸리티로, 로컬 PC에서 LLM(대규모 언어 모델)을 직접 실행할 수 있도록 지원한다. 기본적으로 개발자를 위한 도구지만, 모든 설정을 자동으로 처리해 주기 때문에 로컬 AI를 경험하는 데 가장 간편한 방법 중 하나다. 그리고 이 도구는 PC의 성능 최적화 기능도 함께 제공한다.

윈도우의 숨겨진 보석, ‘윈젯’처럼 작동

윈도우에 기본 탑재된 윈젯(winget)은 일종의 애플리케이션 설치 자동화 도구다. 웹사이트를 찾아가거나 마이크로소프트 스토어에서 앱을 수동으로 설치할 필요 없이, 명령줄에 명령만 입력하면 모든 설치 과정을 자동으로 처리해 준다. 계정 로그인도 필요 없다.

파운드리 로컬도 동일한 방식으로 동작한다. 명령어 두 줄만 복사해 입력하면 바로 실행된다. 다음은 설치 방법이다.

Mark Hachman / Foundry

- 윈도우 키를 누른 뒤 “터미널”을 입력해 Windows Terminal을 실행한다. PowerShell도 가능하다.
- 다음 명령어를 입력해 설치를 시작한다:

winget install Microsoft.FoundryLocal

잠시 기다리면 필요한 파일이 자동으로 다운로드된다.

- 이어서 LLM 모델 중 하나인 ‘Phi-3.5-mini’를 실행하려면 다음 명령어를 입력한다:

foundry model run phi-3.5-mini

이후 터미널에 “화성의 하늘은 파란가요?”와 같은 프롬프트를 입력하면 바로 결과를 확인할 수 있다. 다른 모델을 보고 싶다면 다음 명령어로 목록을 확인할 수 있다.

foundry model list

이제 원하는 모델명으로 ‘phi-3.5-mini’를 교체한다. 사용자는 왼쪽 열에 표시된 모델명을 참고하면 된다.

정말 ‘로컬’일까? 실제 테스트해 보니

Mark Hachman / Foundry

파운드리 로컬은 기본적으로 로컬에서 구동되도록 설계됐지만, 실행 중인 Phi-mini 모델이 “마이크로소프트 서버와 통신 중”이라는 메시지를 출력하기도 했다. 확인하기 위해 PC를 ‘비행기 모드’로 전환해 테스트한 결과, 로컬 실행이 확인됐다.

해당 툴은 시스템 사양에 맞는 최적의 모델 버전을 자동으로 다운로드하고 적용한다. 전용 GPU나 NPU가 있으면 성능이 향상되며, 마이크로소프트 윈도우10 또는 11, 최소 RAM 8GB, 저장공간 3GB(권장 RAM 16GB, 디스크 15GB)를 요구한다. 코파일럿+ PC는 필수는 아니지만, 퀄컴 스냅드래곤 X 엘리트, 엔비디아 RTX 2000 시리즈, AMD 라데온 6000 시리즈 이상의 GPU를 사용할 경우 유리하다.

개발자를 위한 확장 가능성도

Mark Hachman / Foundry

파운드리 로컬은 LLM 챗봇으로서의 기본 기능 외에도, 개발자에게는 더 다양한 활용 가능성을 제공한다. 예를 들어, 텍스트 추출 기능을 위젯 형태로 제공하는 예시 영상도 소개됐으며, 이는 향후 윈도우 스니핑 툴에 통합될 예정이다.

인텔의 AI 플레이그라운드도 로컬 AI 실행 도구로 주목받고 있지만, 특정 인텔 프로세서에 한정돼 있어 범용성이 떨어진다. 이에 반해 파운드리 로컬은 더 넓은 사용자층을 대상으로 공개돼 있다는 점에서 의미가 있다.

파운드리 로컬은 아직은 단순한 로컬 기반 텍스트 챗봇이지만, 문서 업로드나 사용자 맞춤형 학습 기능 등으로 확장될 가능성도 있다. 현재는 챗GPT, 제미나이, 코파일럿 등 클라우드 기반 서비스에 비해 기능이 제한적이지만, 윈도우 시스템에 자연스럽게 통합되고 있다는 점에서 주목할 만하다. 향후 마이크로소프트의 로컬 AI 전략에서 중요한 기반이 될 수 있다.

dl-itworldkorea@foundryco.com

이 기사의 카테고리는 언론사의 분류를 따릅니다.