글로벌 칼럼 | 생성형 AI 시스템 오버엔지니어링의 위험성

클라우드는 생성형 AI 시스템을 구축하는 가장 쉬운 방법이며, 클라우드 매출이 급증하는 이유이기도 하다. 하지만 이런 시스템 중 상당수가 오버엔지니어링되어 복잡성과 불필요한 비용을 초래한다. 사실 오버엔지니어링은 익숙한 문제이다. 우리는 수년 동안 시스템, 장치, 기계, 차량 등을 과도하게 생각하고 과도하게 구축해 왔다. 클라우드라고 다를 이유가 없다.

ⓒ Getty Images Bank

오버엔지니어링은 실질적인 가치가 없는 기능이나 기능을 통합해 불필요하게 복잡한 제품이나 솔루션을 설계하는 것을 말한다. 이런 관행은 시간, 비용, 재료의 비효율적인 사용을 초래하는 것은 물론, 생산성 저하, 비용 증가, 시스템 복원력 저하로 이어질 수 있다.

AI든 클라우드든 모든 시스템의 오버엔지니어링은 리소스에 쉽게 액세스할 수 있고 리소스 사용에 제한이 없을 때 발생한다. 클라우드 서비스를 쉽게 찾고 할당할 수 있기 때문에 AI 설계자나 엔지니어는 "꼭 있어야 하는" 기능보다 "있으면 좋은" 기능을 추가하고 싶은 유혹에 빠지기 쉽다. 이런 식으로 시스템을 설계하다 보면, 필요 이상으로 많은 데이터베이스, 미들웨어 계층, 보안 시스템, 거버넌스 시스템이 필요해진다.

기업이 클라우드 서비스에 쉽게 액세스하고 프로비저닝할 수 있다는 점은 장점인 동시에 단점이 되기도 한다. 첨단 클라우드 기반 툴은 정교한 AI 시스템의 배포를 간소화하지만, 동시에 오버엔지니어링의 가능성을 열어주기도 한다. 엔지니어가 특정 컴퓨팅 또는 스토리지 서비스를 위한 특수 하드웨어를 구매하는 등 조달 프로세스를 거쳐야 한다면, 마우스 클릭 한 번으로 리소스를 확보할 수 있는 클라우드보다 더 많은 제약을 받을 가능성이 높다.

간편한 프로비저닝의 위험성

퍼블릭 클라우드 플랫폼은 생성형 AI 요구 사항을 충족하도록 설계된 인상적인 서비스를 자랑한다. 데이터 저장 및 처리부터 머신러닝 모델 및 분석에 이르기까지, 이들 플랫폼은 매력적인 기능의 조합을 제공한다. 실제로 클라우드 서비스 업체가 생성형 AI 시스템을 설계, 구축 및 배포하는 데 '필수'라고 생각하는 수십 가지 서비스 목록을 살펴보자. 물론 이 목록을 만든 업체가 이들 서비스를 판매하고 있다.

GPU가 가장 좋은 예이다. GPU로 구성된 컴퓨팅 서비스가 생성형 AI 아키텍처에 추가되는 것을 종종 볼 수 있다. 그러나 이른바 "어림짐작 계산" 유형의 연산에는 GPU가 필요하지 않으며, 약간의 비용만 추가하면 CPU 기반 시스템으로도 충분하다.

어떤 이유에서인지 GPU를 제작하고 판매하는 회사의 폭발적인 성장으로 인해 많은 사람이 GPU가 필수 요소라고 생각하지만, 그렇지 않다. GPU는 특정 문제에 특수 프로세서가 사용될 때만 필요하다. 이런 식의 오버엔지니어링은 다른 오버엔지니어링 실수보다 기업에 더 많은 비용을 초래한다. 안타깝게도 고성능 GPU를 사용하지 말라고 권유하면 이후 아키텍처 회의에 초대받지 못하는 경우가 많다.

예산 준수

비용 증가는 계층화된 복잡성 및 추가 클라우드 서비스와 직접적으로 연관되어 있으며, 이는 종종 철저함이나 미래 대비를 위한 충동 구매를 포함되는 경우가 많다. 기업에 더 적은 리소스 또는 더 저렴한 리소스를 사용하라고 권할 때 "향후 성장을 고려해야 한다"는 답변을 종종 듣지만, 이는 아키텍처가 발전함에 따라 조정하는 것으로 해결할 수 있는 경우가 많다. 처음부터 문제를 해결하기 위해 돈을 쏟아부어서는 안 된다.

너무 많은 서비스를 포함하려는 경향도 기술 부채를 증폭시킨다. 복잡한 시스템을 유지 관리하고 업그레이드하는 것은 점점 더 어려워지고 비용도 많이 든다. 데이터가 여러 클라우드 서비스에 파편화되고 사일로화되어 있으면 이런 문제가 더욱 악화되어 데이터 통합 및 최적화가 어려운 작업이 될 수 있다. 기업은 종종 생성형 AI 솔루션이 오버엔지니어링되어 최적화해야 하는 사이클에 갇혀 투자 수익이 감소하는 상황에 처하게 된다.

오버엔지니어링을 완화하기 위한 전략

이런 함정을 피하려면 체계적인 접근 방식이 필요하다. 필자가 사용하는 몇 가지 전략은 다음과 같다.

• 핵심 요구 사항의 우선순위를 정한다. 주요 목표를 달성하는 데 필요한 필수 기능에 집중한다. 부풀리고 싶은 유혹을 뿌리친다.
• 철저하게 계획하고 평가한다. 계획 단계에 시간을 투자해 어떤 서비스가 필수적인지 결정한다.
• 소규모로 시작하여 점진적으로 확장한다. 핵심 기능에 초점을 맞춘 최소기능제품(MVP)으로 시작하세요.
• 우수한 생성형 AI 아키텍처팀을 구성한다. AI 엔지니어링, 데이터 과학자, AI 보안 전문가 등 필요한 것을 활용하되 과하지 않게 접근하는 방법을 공유하는 사람들을 선택한다. 동일한 문제를 두 개의 다른 생성형 AI 아키텍처팀에 제시하면, 1,000만 달러의 비용 차이가 나는 계획이 나온다. 어느 쪽이 맞을까? 일반적으로 가장 적은 비용을 지출하려는 팀이다.

퍼블릭 클라우드 플랫폼의 강력한 성능과 유연성 때문에 애초에 클라우드를 활용하지만, 생성형 AI 시스템을 오버엔지니어링하는 함정을 피하려면 주의를 기울여야 한다. 신중한 계획, 신중한 서비스 선택, 지속적인 최적화가 비용 효율적인 AI 솔루션 구축의 핵심이다. 이런 원칙을 준수하면 기업은 과도하게 설계된 시스템의 복잡성과 비용의 희생양이 되지 않고도 생성형 AI의 잠재력을 최대한 활용할 수 있다.
editor@itworld.co.kr

David Linthicum editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지