[레드햇 서밋 2024] 오픈소스로 생성형AI 장벽을 허물다…베일 벗은 ‘RHEL AI’

[디지털데일리 권하영기자] 챗GPT로 시작된 생성형 인공지능(AI) 열풍이 엔터프라이즈 혁신을 가속하고 있다. 특히 기업은 단일 AI 모델보다 다양한 선택지를 갖길 원하며, 이에 따라 개방형 생태계에 기반한 AI 혁신이 본격화되는 추세다.

하지만 기업이 효과적인 AI 전략을 구현하기 위해서는 단순히 모델을 ‘선택’하는 것만으로는 부족하다. 기업 입장에선 특정 상황에 맞게 주어진 모델을 조정하는 데에도 많은 비용과 전문지식이 필요한 것이 사실이다.

글로벌 오픈소스 솔루션 기업 레드햇이 이 기회를 놓치지 않았다. 다양한 선택지를 가지고 AI를 쉽고 빠르게 활용하길 원하는 기업들을 위해, 오픈소스 기반으로 생성형AI 개발·테스트·배포를 지원하는 파운데이션모델 플랫폼을 선보인 것이다.

레드햇이 7일(현지시간) 미국 덴버 콜로라도컨벤션센터에서 개최한 ‘레드햇 서밋 2024’을 통해 공식적으로 선보인 ‘레드햇 엔터프라이즈 리눅스 AI(Red Hat Enterprise Linux AI, 이하 RHEL AI)’가 바로 그것이다.

이 자리에서 맷 힉스 레드햇 최고경영자(CEO)는 첫번째 기조연설을 통해 “우리의 목표는 AI를 중심으로 오픈소스 생태계를 한단계 확장하는 것”이라는 메시지를 내놨다.

RHEL AI는 IBM리서치의 오픈소스 라이선스 그래니트 대규모언어모델(LLM) 제품군과 챗봇용대규모정렬(LAB, Large-scale Alignment for chatbot) 방법론에 기반한 인스트럭트랩(InstructLab) 모델 정렬도구, 그리고 인스트럭트랩 프로젝트를 통한 커뮤니티 중심의 모델개발 접근방식을 결합한 솔루션이다.

전체 솔루션은 하이브리드 클라우드의 개별 서버 배포를 위해 최적화된 RHEL 이미지로 패키징됐고, 분산 클러스터 환경에서 모델과 인스트럭트랩의 대규모 실행을 위해 레드햇 하이브리드 ML옵스(MLOp) 플랫폼 ‘오픈시프트 AI(OpenShift AI)’에 포함됐다.

RHEL AI는 LAB 기반 인스트럭트랩 프로젝트를 통해 탄생했다.

아셰시 바다니 레드햇 최고제품책임자(CPO) 겸 수석부사장은 기조연설에서 “IBM리서치는 합성 데이터 생성과 새로운 다단계(multi-phase) 튜닝 프레임워크를 사용하는 모델 정렬방식인 LAB를 개발했고, 인간의 주석과 피드백에 대한 의존도를 크게 낮췄다”고 지적했다. LAB 방식을 사용하면 분류법에 수반되는 기술과 지식을 특정하고, 해당 정보로부터 대규모로 합성 데이터를 생성해 모델에 영향을 주는 한편, 생성된 데이터를 모델 학습에 사용함으로써 모델을 개선할 수 있다는 설명이다.

이에 IBM과 레드햇은 LAB 방식과 IBM의 오픈소스 그래니트 모델을 중심으로 구축된 오픈소스 커뮤니티인 인스트럭트랩을 출범하기로 결정했다. 인스트럭트랩 프로젝트는 타 오픈소스 프로젝트가 그런 것처럼, 간단하게 LLM을 구축하고 기여할 수 있도록 함으로써 개발자들의 LLM 개발을 돕는 것이 목표다.

그 일환으로 IBM은 아파치 라이선스에 따라 출시된 그래니트 영어 모델 및 코드 모델 제품군도 공개했다. 그래니트 7B 영어 모델은 인스트럭트랩 커뮤니티에 통합됐으며, 최종 사용자는 다른 오픈소스 프로젝트처럼 기술과 지식을 기여할 수 있다. 인스트럭트랩 내 그래니트 코드 모델에 대해서도 유사한 지원이 곧 제공될 예정이다.

바다니 CPO는 “인스트럭트랩의 파워를 상상해보라”며 “조직 전반에 걸쳐 전문가가 제공하는 데이터를 사용해 커다란 결과를 얻을 수 있는 모델, 예를 들면 재무팀 누구에게나 유용한 회사 최고 세무사의 수년간 경험을 활용하는 모델이 그들의 작업을 쉽게 수행할 수 있도록 보장한다”고 설명했다.

이처럼 레드햇은 인스트럭트랩 정렬도구, 그래니트 모델, RHEL AI를 통해 오픈소스 프로젝트의 장점을 생성형 AI에 적용함으로써 기업의 장애물을 제거할 계획이다.

특히 사용자는 RHEL AI가 포함된 레드햇 오픈시프트 AI를 통해 워크플로우를 확장할 수 있으며, 오픈시프트의 쿠버네티스 엔진과 모델 라이프사이클 관리를 위한 오픈시프트 AI의 통합 ML옵스 기능을 활용할 수 있다. 또한 오픈시프트 AI와 RHEL AI는 엔터프라이즈 AI 개발과 데이터 관리, 모델 거버넌스를 위한 추가 기능을 제공하는 IBM 왓슨엑스(watsonsx)와 통합될 예정이다.

바다니 CPO는 “생성형 AI는 기업에 혁신적인 도약을 제시하지만, 이는 기술 조직이 그들의 비즈니스 요구에 맞는 방식으로 AI 모델을 실제로 배포하고 사용할 수 있을 때만 실현 가능하다”며 “RHEL AI와 인스트럭트랩 프로젝트는 레드햇 오픈시프트 AI와 큰 규모로 결합돼 제한된 데이터 과학 기술부터 필요한 리소스에 이르기까지 하이브리드 클라우드 전반에서 생성형 AI가 직면한 많은 허들을 낮출 것”이라 역설했다.

- Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지 -