글로벌 칼럼 | AI 구현에 적용하는 클라우드 시대의 교훈

클라우드 컴퓨팅 열풍은 혁신을 가져왔지만, 한편으로는 예상치 못한 비용과 보안 문제를 초래하는 '섀도우 IT'가 확산하는 계기가 되기도 했다. 이 때문에 IT 책임자는 많은 비용을 초래하는 이런 실수를 방지하기 위한 전략적 계획이 필요하다는 것을 배웠다. 생성형 AI 열풍이 뜨거운 지금, 이런 클라우드 시대의 교훈을 잊지 않는다면, 정확한 계획 없이 무분별하게 AI를 사용하는 '섀도우 AI'와 유사한 함정을 피할 수 있을 것이다.

ⓒ Getty Images Bank

생성형 AI는 상당한 경제적 효과를 약속하지만 신중하고 전략적인 계획이 필요하다. 퍼블릭 클라우드는 AI를 위한 필수 선택지는 아니며, 온프레미스 배포의 가치도 고려해야 한다. 클라우드 지지자라면 이를 신성 모독이라고 생각할지 모르지만, 온프레미스 배포는 향후 몇 년 동안 많은 기업이 수백만 달러를 절감하는 선택지가 될 것이다. 연구에 따르면 온프레미스에서 AI를 실행하는 것이 클라우드보다 더 비용 효율적일 수 있다. 또한 온프레미스 접근 방식은 데이터 안전, 주권, 적절한 관리를 우선시하므로 데이터 중력이나 비용이 많이 드는 재구성 같은 잠재적인 문제도 피할 수 있다.

클라우드가 항상 AI의 해답이 될 수 없는 이유

클라우드 컴퓨팅 혁명은 컴퓨팅 자원에 대한 탁월한 액세스를 제공하고 대규모 디지털 혁신을 가능하게 하는 새로운 시대를 예고했다. 그러나 빠른 도입과 성급한 구현으로 인해 섀도우 IT에서 흔히 볼 수 있는 비용 증가, 보안 취약성, 거버넌스 문제가 발생하기도 했다.

즉각적인 액세스와 유연성을 위해 클라우드로 서둘러 이동했던 열정적인 기업처럼, AI 기술 도입을 서두르는 기업이 적지 않다. 맥킨지는 생성형 AI가 잠재적으로 전 세계 경제에 연간 2조 6,000억 달러에서 4조 4,000억 달러를 추가할 수 있다고 추정한다. 하지만 제대로 확인하지 않은 열정은 높은 비용과 전략적 실수로 이어질 수 있다. 퍼블릭 클라우드 서비스에 크게 의존하면서 클라우드 비용을 모니터링하지 않거나 비용이 비즈니스 목표에 부합하는지 확인하지 않는 것과 같다.

클라우드 시대의 주요 교훈 중 하나는 처음부터 비용 최적화를 위한 전략을 세우는 것이 중요하다는 것이다. ESG의 연구에 따르면, 검색 증강 생성(RAG)이 포함된 오픈소스 LLM을 온프레미스에서 호스팅하는 것이 퍼블릭 클라우드의 동급 서비스보다 38%~75% 더 비용 효율적이라는 사실이 밝혀졌다. API 기반 접근 방식의 비용 효율성이 훨씬 낮았다. 이는 비용을 더 잘 관리하고 데이터에 대한 통제권을 유지하기 위해 온프레미스 또는 하이브리드 중심 AI 배포 옵션을 면밀히 검토해야 한다는 것을 보여준다.

두 번째 중요한 시사점은 데이터가 있는 곳에 AI 기능을 우선적으로 도입해야 한다는 것이다. 가트너는 2025년까지 기업에서 생성되는 데이터의 75%가 기존의 중앙 집중식 데이터센터 외부에서 생성 및 처리될 것으로 예측한다. 이런 변화로 인해 기업은 데이터 안전, 주권, 규정 준수를 보장하기 위해 데이터 관리 전략을 재고해야 한다.

온프레미스 우선 접근 방식은 기존 인프라를 활용하면서 이런 우선순위를 유지한다. 이를 통해 기업은 적절한 시기에 퍼블릭 클라우드 자원을 전략적으로 활용할 수 있으므로 나중에 데이터 중력과 같은 문제로 인해 대규모 재설계가 필요하지 않다. 또한 생성형 AI가 진화함에 따라 지속적인 평가와 적응이 중요하다. 기술 환경은 끊임없이 변화하고 있으며, 오늘 효과가 있는 전략이 내일은 효과가 없을 수도 있다. 이를 위해서는 기술과 비즈니스 요구의 변화에 따라 기업이 전환할 수 있는 적응력이 필요하다.

이 두 가지 교훈을 생성형 AI 배포에 적용하면, IT 부서는 혁신을 촉진하고 지속 가능성을 보장하는 방식으로 생성형 AI를 배포할 수 있다. 이는 현재의 유행보다는 비즈니스를 고려해야 한다는 의미이다. 즉, 클라우드 컴퓨팅 컨퍼런스에서 해법을 찾는 것이 아니라 자체 요구사항에서 솔루션에 이르기까지 모든 과정에서 비용을 고려해 작업해야 한다.

목적지에 도달하기 위한 계획

생성형 AI 시대는 기술 발전과 전략적 선견지명을 결합해 AI를 비용이 많이 드는 실험이 아닌 혁신의 초석으로 삼을 수 있는 기회를 제공한다. 비용 효율성, 데이터 관리, 적응형 전략의 우선순위를 정하는 것은 점점 더 지능적인 인사이트에 의해 주도되는 세상에서 AI 기술의 잠재력을 최대한 실현하는 데 필수적인 요소가 될 것이다.

먼저, 기업은 올바른 투자와 기술 선택을 위해 기존 인프라를 평가하고 명확한 AI 목표를 정의해 비즈니스 목표와 연계해야 한다. 온프레미스 접근 방식을 채택하면 기존 인프라를 활용해 데이터에 대한 통제권을 유지하면서 민첩성을 위해 필요한 경우 클라우드 자원을 전략적으로 활용할 수 있어 비용 효율성이 더 높아질 수 있다.

이때 가장 중요한 것은 데이터 주권과 보안이다. 기업은 승인되지 않은 AI 배포를 방지하고 규정 준수를 보장하며 섀도우 AI 문제를 방지하기 위해 강력한 거버넌스가 필요하다. 시장 동향을 파악하고 AI 전문가와 협력하면 기업은 기술 변화에 적응하고 필요에 따라 전략을 개선할 수 있다. 또한 사내 AI 전문성을 구축하고 혁신 문화를 조성하는 데 투자하면 AI 이니셔티브를 관리하고 최적화할 수 있는 역량을 강화할 수 있다. 특히 성공 지표를 구현하고 반복적인 접근 방식을 채택해 AI 성과를 지속적으로 평가하고 필요한 조정을 수행할 수 있다.

이런 전략적 준비를 통해 기업은 지속 가능한 혁신을 위해 AI를 활용하고 비싼 투자를 하고도 실패하는 일을 방지할 수 있다. 클라우드 컴퓨팅 시대의 교훈은 AI가 주도하는 미래의 복잡성을 성공적으로 헤쳐 나가기 위한 중요한 로드맵을 제공한다.
editor@itworld.co.kr

David Linthicum editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지