"성과 없는 애널리틱스, 개선 없는 머신러닝" AI/ML 프로젝트가 실패하는 이유

데이터 애널리틱스와 머신러닝은 실질적인 비즈니스 가치를 제공하지만, 목표를 달성하는 프로젝트는 거의 없다는 보고서 결과가 발표됐다. 애널리틱스와 머신러닝이 실패하는 이유는 무엇일까?

파운드리의 '2024 CIO 현황 보고서'에 따르면 CIO의 80%가 기술 스택에 추가 가능한 AI를 조사하고 평가하는 업무를 맡고 있으며, 74%는 비즈니스 리더와 AI 애플리케이션에 대해 더욱 긴밀하게 협력하고 있다. 데이터, 머신러닝, AI 투자를 통해 비즈니스 가치를 창출해야 한다는 요구에 직면해 있음에도 불구하고 CIO의 54%만이 IT 예산을 늘렸다고 답했다. AI 투자는 세 번째 요인에 불과했으며, 보안 개선과 기술 비용 상승이 더 높은 순위를 차지했다.

ⓒ Getty Images Bank

CIO, IT 및 데이터 과학팀은 AI에 대한 열광이 비이성적인 과욕으로 이어지지 않도록 주의해야 한다. 최근 한 연구에 따르면 애널리틱스 프로젝트의 가장 중요한 성공 지표는 투자 수익률, 매출 성장, 효율성 개선이지만, 응답자의 32%만이 머신러닝 모델을 60% 이상 성공적으로 배포한 것으로 나타났다. 이 보고서는 또한 50% 이상이 애널리틱스 프로젝트의 성과를 정기적으로 측정하지 않는다고 답해, 비즈니스 가치를 제공하지 못하는 애널리틱스 프로젝트가 더 많을 수 있음을 시사했다.

비즈니스 목표를 정확한 모델, 유용한 대시보드, 생산성을 향상시키는 AI 기반 워크플로우로 전환하기 위해서는 실험과 반복이 필요하므로, 모델 수준에서 높은 배포율을 기대해서는 안 된다. 그러나 데이터 과학 투자 포트폴리오에서 비즈니스 가치를 창출하는 데 있어 실적이 저조한 기업은 지출을 줄이거나 다른 구현 방법을 모색해야 하며, 그렇지 않으면 경쟁업체에 뒤처지게 마련이다.

애널리틱스에 쏟는 노력이 실패하거나 성과가 저조한 데에는 기술 및 데이터와 관련된 여러 가지 이유가 있지만, 최근에 출간된 두 권의 책에서는 기업 및 프로세스와 관련된 문제가 더 크다고 말했다. '데이터 과학으로 성공하기(Winning with Data Science)'의 저자 프리드먼과 스와미나단은 비즈니스 리더가 데이터 과학팀과 직접 협력하면서 머신러닝 개발 수명주기를 이해해야 한다고 강조했다. 'AI 플레이북(The AI Playbook)'에서 저자 시겔은 머신러닝 배포는 '희귀한 예술'이며 데이터 과학팀은 배포 및 예측 목표를 설정하는 것으로 노력을 시작해야 한다고 제안했다.

저조한 성과로 이어지는 기업 및 프로세스 문제를 조사한 결과, 데이터 과학팀이 개선할 수 있는 사항을 정리해보았다. 최종 목표는 배포가 아니라는 점을 염두에 두어야 한다. ROI, 성장 및 효율성을 높이려면 데이터 과학팀은 모델 배포를 넘어 비즈니스팀이 제공된 애널리틱스 기능을 사용하도록 해야 한다.

애널리틱스 및 머신러닝에 쏟은 노력이 의도한 대로 비즈니스 가치를 제공하지 못하는 다음과 같은 이유와 팀이 개선할 수 있는 방법을 살펴본다.

최종 사용자 워크플로우와 연결되지 않는 애널리틱스

데이터 과학 분야의 리더가 주로 지적하는 문제는 팀이 모델과 애널리틱스가 최종 사용자의 워크플로우에 어떻게 연결되는지를 더 잘 이해해야 한다는 것이다. 사람이 의사 결정을 내리는 기록 시스템과 예측 모델이 통합되거나 자동화되지 않으면 최종 사용자의 채택을 얻기가 어려워진다.

데이터 과학 솔루션 업체 트레던스(Tredence) 최고 전략 책임자 수멘드라 모한티는 "AI 해결 방법을 설계하고 개발할 때는 사용자 경험부터 시작해 추천, 예측 또는 자동화가 비즈니스에 어떤 영향을 미치는지 파악해야 한다"라고 말했다. 또한 애널리틱스 및 데이터 과학 분야에서는 비즈니스 시스템과 단절된 대시보드를 사용자 앞에 던져놓기보다는 최종 사용자를 인터뷰하고 무엇이 문제인지 파악하는 것이 중요하다"라고 주장했다.

해결 방법 : 데이터 과학팀이 모델만 담당하는 경우에도, 모델 개발 프로세스는 가치 제공을 위한 정의된 비전 선언문과 애널리틱스 해결 방법을 기존 비즈니스 프로세스에 어떻게 적용할지, 또는 경우에 따라서는 기존 비즈니스 프로세스를 어떻게 방해할지부터 시작해야 한다.

데이터 과학자와 개발자 간의 부적절한 협업

최종 사용자가 채택한 프로덕션 워크플로우를 달성하려면 모델 배포 이후의 단계에서 데이터 과학자와 소프트웨어 개발자가 통합, 애플리케이션 수정 및 워크플로우 변경을 수행하기 위해 협업해야 한다.

AI 의약학 분석 업체 티로나(Thirona) CTO 리타 프라이어리는 "AI 또는 ML을 제품화할 때 리더십 부문에서 흔히 발생하는 문제는 데이터 과학자와 소프트웨어 개발자 간에 적절한 프레임워크나 상호 작용의 주기가 없다는 것이다"라고 말했다. 프라이어리는 "모델이 제품화할 만큼 성숙해지면 데이터 과학과 소프트웨어 개발팀이 조기에 협력하여 다음 단계를 조율하고 개발자가 이 작업이 자신의 영역에 어떻게 속하는지 인지할 수 있도록 해야 한다”라고 조언했다.

이때 중요한 질문은 언제 소프트웨어 팀을 참여시켜서 모델을 이해하고 필요한 시스템 변경 사항을 파악하게 하는가다. 프라이어리는 "실험 단계에 너무 일찍 소프트웨어 팀을 참여시키는 것은 비실용적이며, 수용팀의 의견 없이 아이디어를 너무 멀리 가져가는 것은 비효율적"이라며 "데이터 과학자와 개발자가 언제 모델을 전환해야 하는지에 대한 명확한 기대치를 전달하는 것은 제품화 노력을 통해 가치를 제공하는 데 매우 중요하다"라고 정의했다.

해결 방법 : 한 가지 접근 방식은 애널리틱스 수명 주기 동안 다양한 기술을 활용하는 유연하고 민첩한 데이터 과학팀을 구성하는 것이다. 초기 계획 기간에는 이러한 팀에 식스 시그마 및 UX 전문가를 포함하여 기존 워크플로를 검토하고 워크플로의 변경을 고려할 수 있다. 모델이 유망한 결과를 보여주기 시작하면, 팀은 소프트웨어 개발자를 교체하여 애플리케이션 변경 및 통합을 포함한 구현을 계획할 수 있다.

변경 관리에 대한 관심 부족

변경 관리는 다분야 데이터 과학 및 개발팀의 또 다른 책임이다. 특히 머신러닝 모델이 의사 결정 기능을 변경하거나 워크플로우 자동화와 함께 제공되는 경우, 변경 관리 프로세스 없이 최종 사용자가 머신러닝을 통한 워크플로우 개선을 수용하고 채택할 것으로 기대하는 것은 실수라 할 수 있다.

고객 참여 솔루션 업체 스트림얼라이브(StreamAlive)의 CEO 럭스 나라얀은 기술팀과 비즈니스팀 간의 조율이 부족하고 이니셔티브 초기부터 직원의 동의를 얻지 못하면 도입에 장벽이 생긴다고 말한다. “직원과 팀은 혁신 노력이 중요한 이유에 대해 충분히 공감해야 목표를 달성하는 방법을 이해할 수 있다. 팀 리더와 기업 책임자는 간소화된 커뮤니케이션을 보장하고, 동기 및 비동기 커뮤니케이션을 위한 기술을 제공하며, 비즈니스팀, IT팀, 애널리틱스 리더 간에 구현을 진정으로 파고드는 정기적인 조율을 보장해야 한다.”

해결 방법 : 모범 사례는 비전 선언문 초안 작성에 이해관계자와 선정된 최종 사용자를 포함시키고, 어떤 예측이 중요한지 검토하고, 워크플로우에 미치는 영향을 공유하고, 성공 기준을 정의하는 것에서 시작된다. 데이터 과학 및 개발 프로세스 중에 주요 이해관계자와 최종 사용자를 스프린트 계획 세션에 초대하여 요구사항에 기여하고 진행 상황을 검토하는 스프린트 리뷰에 참여하게 하라.

실험을 통해 배우지 않음

데이터 과학자는 작업의 실험적이고 반복적인 특성을 이해하지만, 사용자 경험에 모델을 포함시키고 워크플로를 개선하는 것도 릴리즈와 피드백 캡처의 반복을 통해 개선되어야 한다는 것은 모를 수 있다. 공동팀이 최소한의 실행 가능한 경험을 배포하더라도 최종 사용자와 이해관계자를 인터뷰하고 어떤 변화와 개선이 필요한지 파악해야 한다.

기능 플래그 구현 업체 런치다클리의 제품 인큐베이션 수석 코디 드 아크랜드는 "AI 구현은 긍정적인 사용자 경험을 촉진하는 훌륭한 촉진제가 될 수도 있고, 애플리케이션과 사용자에게 강요되는 귀찮은 기능이 될 수도 있다"라고 말했다. "제품 리더는 AI 기능이 최종 사용자가 원하는 워크플로우에 맞게 구현되어 방해 요소가 아닌 '부가적인' 경험으로 작용하도록 해야 한다. 실험을 통해 긍정적인 사용자 반응을 확인하면 데이터 없이 나쁜 경험을 강요하여 고객을 잃을 위험 없이 AI 기능을 신속하게 출시할 수 있다."

해결 방법 : 데이터 과학팀은 이 문제를 해결하기 위해 다양한 구현의 사용자 영향을 측정하기 위해 A/B 테스트를 구현하고 최종 사용자를 정성적으로 설문조사하는 등 몇 가지 기술을 고려해야 한다. 또한 개발자와 데이터 과학자는 애플리케이션과 워크플로우를 관찰하여 성능 문제, 소프트웨어 결함, 머신러닝 모델 문제 또는 사용성 문제를 포착하고 검토할 수 있는지 확인해야 한다.

자동화나 통합 없이 애널리틱스 제공

더 많은 데이터, 예측, 대시보드, 보고서를 최종 사용자에게 제공하는 것은 가치가 있지만, 생산성에는 비용이 발생할 가능성이 있다. 배포된 보고 도구가 워크플로우 및 의사 결정에 사용되는 플랫폼과 연결되지 않으면 데이터 과학팀 직원이 처리할 업무가 늘어날 것이다. 두 번째 우려는 애널리틱스가 새로운 인사이트를 제공하지만 상당한 수작업이 필요한 경우이다. 자동화 및 통합은 애널리틱스 제공 프로그램의 우선 순위가 되어야 한다.

"애널리틱스는 사람이 사용하도록 되어 있으며, 확장성이 떨어지는 부분이 바로 이 부분이다."라고 데이터 처리 업체 쿠모(Kumo) CEO 반야 조시포프스키는 "개인화나 추천 등 대부분의 주요 기업 사용례는 예측을 기반으로 한다. 여기서 가치를 실현하는 길은 머신러닝을 더 쉽고 자동화한 다음 AI 사용례로 확장하는 것”이라고 말했다.

해결 방법 : 대시보드와 애플리케이션 간의 간단한 통합을 위한 한 가지 접근 방식은 임베디드 애널리틱스를 통해 데이터 시각화 또는 비즈니스 인텔리전스 도구의 시각적 요소를 자바스크립트나 아이프레임으로 사용자 인터페이스에 통합하는 것이다. 시센스(Sisense) CEO 아리엘 캣츠는 최근 블로그 게시물에서 임베디드 애널리틱스의 새로운 시대를 언급하며 API는 더욱 풍부한 통합을 제공한다고 말했다. 캣츠는 "임베디드 애널리틱스를 위해 API로 전환하면 개발자가 변화에 빠르게 적응하고 사용자를 위한 새로운 가치를 창출할 수 있어 훨씬 더 높은 ROI를 얻을 수 있다”라고 말했다.

프로덕션 결과 없이 개념 증명

제품 관리, 디자인 사고, 6시그마 분야는 애자일팀과 비즈니스, 데이터 과학, 소프트웨어 개발자가팀원으로 협업하는 것을 감독하는 데 있어 중요한 리더십 역할이다. 하지만 협업을 하더라도 애널리틱스 기능을 갖춘 워크플로우를 프로덕션에 적용하지 않고 너무 많은 개념 증명(POC)을 거쳐 반복적으로 개선할 위험이 여전히 존재한다.

이러한 문제가 상당한 기간에 걸쳐 발생한다면, POC가 비즈니스의 전략적 방향과 맞지 않거나 경영진이 전략적 애널리틱스 우선순위를 정의하지 않았다는 신호일 것이다.

테라데이터의 최고 제품 책임자 힐러리 애쉬튼은 "AI 노력이 실패하는 가장 큰 이유는 전략적 방향성이 부족하기 때문이며, 대부분의 모델이 실험실에서 벗어나지 못하는 POC 지옥도 있다"라고 경고했다. "애널리틱스 기능을 보다 효과적으로 제품화하는 한 가지 방법은 재사용 가능한 데이터 제품 또는 선별된 신뢰할 수 있는 데이터 집합을 사용하는 것이다. 신뢰할 수 있는 데이터를 사용하는 것이 AI에 대한 신뢰를 구축하는 핵심이다."

가장 성공적인 데이터 기반 기업은 애널리틱스에서 탁월한 성과를 거두기 위해서는 그 자체로 구축되는 구현 전략이 필요하다는 것을 깨닫고 있기 때문에 애쉬튼의 권장 사항은 데이터 기반 기업의 핵심이 된다. 재사용 가능하고 확장 가능한 데이터 집합, 머신러닝 모델, 시각화 구성 요소를 만드는 것은 효율적일 뿐만 아니라 데이터 과학자가 신뢰할 수 있고 일관된 애널리틱스 제품을 제공하고 지속적으로 개선하는 데 도움이 된다.

해결 방법 : 데이터 과학팀이 별다른 성과 없이 POC만 돌리고 있다면, 경영진이 나서서 우선순위에 대한 지침을 제공하고 모델이 프로덕션 준비가 되면 워크플로우 변경을 촉진해야 한다. 사이비즈인포(CsiBizInfo) COO 폴 보인튼은 "진정한 가치는 리더십이 이러한 인사이트를 취하고 그 결과를 적용하여 기업 내에서 구체적인 개선을 이루는 데서 비롯된다"라고 말했다.

리더십과 인재 능력의 격차

기업은 AI 역량, 신기술, 진화하는 비즈니스 전략의 빠른 변화에 발맞출 수 있는 리더십 인재와 기술을 보유하고 있는지 고민해야 한다. 한 가지 문제는 기업이 평생 학습 문화에 가입하지 않고 데이터 과학 및 기술 전문가에게 현대화된 애널리틱스 접근 방식을 채택할 충분한 기회를 제공하지 않는 경우이다. 유능한 팀이 레거시 기술을 지원하느라 새로운 비즈니스, 애널리틱스 및 기술 기회에 집중할 수 없는 경우도 있다.

레이턴트뷰 애널리틱스(LatentView Analytics)의 최고 고객 책임자 크리슈난 벤카타는 기업 전체에 적합한 기술 해결 방법을 대규모로 구현할 수 있는 실행 가능한 기술 인재가 부족하기 때문에 애널리틱스 및 AI 노력이 가치를 제공하지 못하는 경우가 많다고 지적했다. 또한 "리더는 숙련된 데이터 및 애널리틱스팀과 기술 인재에 채용 노력을 집중하고, 대체 채용 및 아웃소싱 방법을 통해 인재를 아웃소싱함으로써 이 문제를 극복할 수 있다”라고 제안했다.

기술 및 데이터 과학 기술 격차는 채용, 교육, 파트너십을 통해 해결할 수 있다. 또 다른 문제는 팀이 애널리틱스 기능을 비즈니스 요구와 기회에 연결시킬 수 있는 충분한 비즈니스 통찰력을 갖추고 있는지다. 산업별 API 최적화 업체 트러스트와이즈의 그렉 쿠치노는 "기술을 이해하고 실제 비즈니스 과제에 적용하는 방법을 아는 기업의 숙련된 인력 사이에는 상당한 격차가 있다"라고 강조했다.

AI, 특히 생성형 AI가 새로운 리더십 분야인지, 아니면 데이터 과학 및 기술 책임의 확장인지를 두고 많은 논쟁이 벌어진다. AI 통합 플랫폼 도미노의 데이터 과학 전략 및 에반젤리즘 책임자 켈 칼슨은 "AI 프로젝트 구현에 성공한 기업은 AI 리더십 역할을 신설하고, 여러 분야의 AI/ML팀을 구성하고, AI 라이프사이클을 아우르는 프로세스를 구축하고, AI 프로젝트의 개발, 운영, 거버넌스를 간소화하는 통합 AI 플랫폼에 투자한다”라고 설명했다.

해결 방법 : AI에 대한 과대 광고가 많지만, 많은 기업이 데이터 과학 투자를 통해 입증된 성과를 거두고 있다. 기업은 성공을 위한 기업을 구축해야 한다. AI 및 데이터 과학과 관련하여 고려해야 할 데이터, 기술 및 거버넌스는 많지만, 리더는 애널리틱스 투자가 성과가 저조할 때 먼저 사람과 프로세스 문제를 살펴봐야 한다. 기업은 리더십 역할을 정의하고, 우선순위를 정하고, 여러 분야의 협업을 추진하고, 학습 활동을 촉진함으로써 성공할 수 있다.
editor@itworld.co.kr

Isaac Sacolick editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지