그동안 기업은 퍼블릭 클라우드 플랫폼이 제공하는 유연성과 빠른 혁신을 활용하기 위해 클라우드 우선 접근법을 열정적으로 채택했다. 하지만 AI 운영이 실험 단계에서 비즈니스 필수 과제로 전환되면서 AI가 주로 퍼블릭 클라우드에 있어야 한다는 기존 가정이 더는 성립하지 않는다는 사실을 깨닫고 있다.
AI는 플랫폼 선택을 평준화하는 핵심 요인으로 자리 잡고 있다. 전례 없는 비용, 저지연 요구, 복원력과 데이터 주권에 대한 새로운 우려가 맞물리며 기업은 가장 전략적인 워크로드에 클라우드를 기본 선택지로 삼는 프랙티스를 재검토하고 있다. 오래전부터 기존 통념과 배치되는 이런 전략을 주장해온 필자는 업계의 공감대가 이런 방향으로 바뀌는 모습에 고무된 상태다.
AI 워크로드는 여러 측면에서 전통적 애플리케이션과 다르며, 특히 컴퓨팅과 데이터에 대한 갈증이 두드러진다. 퍼블릭 클라우드에서 대규모 학습이나 추론 작업을 실행하면 비용이 빠르게 치솟아, 같은 규모의 온프레미스 인프라보다 훨씬 많은 비용이 발생하기 십상이다.
딜로이트는 2026년 테크 트렌드 보고서를 통해 “일부 기업은 매월 클라우드 요금이 수천만 달러에 이르는 사례를 보고하고 있다”라고 밝히며, 동일한 성능의 온프레미스 시스템을 도입·유지하는 데 필요한 전체 비용 중 클라우드가 차지하는 비중이 60%~70%를 넘는 경우가 많다고 전했다. 이런 수준의 경제적 부담이라면, 특히 예측 가능성과 예산 통제가 필요한 기업에는 클라우드 우선 원칙을 다시 생각하지 않을 수 없다.
또한 실시간 의사결정 같은 운영 환경을 지원하는 데 필요한 초저지연 요구와 미션 크리티컬 환경에서 항상 가동되는 신뢰성 있는 성능 요구는 온프레미스 해법을 더 현실적인 선택지로 만드는 경우가 많다. 같은 딜로이트 보고서는 “응답 시간이 10ms 이하인 애플리케이션은 클라우드 특유의 지연을 견딜 수 없다”라고 지적했다.
논란이 아닌 상식
100% 클라우드 전략에 회의적 시각을 드러내면 반발을 사던 시기가 그리 오래전 일이 아니다. 지난 10년 가까이 기업의 인프라 전략 회의에서 클라우드는 거의 종교적 지위를 누렸다. 필자는 향수 때문이 아니라 많은 기업이 마주한 아키텍처 현실을 실용적으로 이해한 결과로 하이브리드 클라우드를 꾸준히 주장해 왔다. 현재 더 많은 의사결정자와 컨설팅 업계가 비슷한 결론에 다가가고 있다는 사실이 분명해졌다.
특히 딜로이트의 분석은 탄력성을 위해 클라우드를 활용하고 프로덕션 워크로드의 일관성을 위해 온프레미스를 사용하며, 즉각적 또는 초저지연 AI 요구를 위해 엣지 배포를 결합하는 ‘3계층 접근법’을 명시적으로 권고하고 있다. 범용 IT 워크로드가 아니라 AI가 기술 결정을 주도하는 세상에 맞춰 설계된 구조다.
플랫폼 균형자로 부상한 AI
AI의 급진적인 자원 요구와 운영 제약은 클라우드가 모든 것에 최선이라는 통념과 온프레미스가 순수한 레거시라는 신화를 상당 부분 걷어냈다. 현재 모든 선택은 근본적으로 워크로드 중심이며, AI는 비용 효율성과 안전성, 응답성을 가장 잘 충족하는 곳에서 실행돼야 한다. AI 실행 환경은 때로 클라우드가 되지만, 그만큼 자주 온프레미스 환경 또는 클라우드와 온프레미스의 혼합 구성으로 결정된다.
이런 새 현실은 조직이 AI를 위한 플랫폼 결정을 내리기 전에 신중한 평가를 수행하도록 압박하고 있다. IT 책임자가 대규모 클라우드 마이그레이션에 일괄 서명하며 항상 가장 전략적 선택이라고 확신하던 시대는 끝났다. AI 시대의 최적 접근법은 대체로 하이브리드다.
인기 없던 시기에 하이브리드 경로를 공개적으로 옹호해온 필자는 의사결정권자와 업계 애널리스트 사이에서 이런 관점이 빠르게 수용되는 흐름을 환영한다. 기업은 클라우드에서 후퇴하는 것이 아니라 성숙하고 지속 가능한 AI로 진화하는 과정으로서, 양쪽의 장점을 결합한 통합 플랫폼이라는 합리성을 확보했다. 하이브리드 접근법은 실험과 성장을 위한 클라우드 강점을 계속 활용하면서도 비용 최적화, 규제와 지연 요구 대응, 핵심 보안 통제 유지라는 목표를 동시에 달성할 수 있다.
강도 높은 자원 요구와 복잡한 리스크 프로필을 가진 AI는 플랫폼 아키텍처에서 실용주의적 접근을 상식으로 만들고 있다. 뻔한 말은 무시하자. AI 확장을 의도하고 비용과 성능의 균형을 맞추며 계속 변하는 요구에 적응하려는 기업이라면, 하이브리드가 미래다. 이 관점을 검증하고 강화하는 권위 있는 근거가 축적되면서, 한때 이견으로 여겨지던 주장이 빠르게 상식으로 바뀌고 있다는 점이 분명해졌다. 성공적인 AI로 가는 길은 클라우드 단일 해법이 아니라 클라우드와 비클라우드 전략을 신중하게 결합하는 데 있다.
dl-itworldkorea@foundryco.com
David Linthicum editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.