"AI는 좋은 장난감일 뿐" 성공은 데이터 전처리가 좌우한다

여러분의 회사에서 진행하는 생성형 AI 프로젝트는 실패할 가능성이 거의 확실하다. 마음을 다잡자. 어차피 비즈니스 문제 해결에 AI를 사용해서는 안 된다. 데이터 과학자 사이에서는 이미 인정되는 사실이지만, 기업 경영진에게까지 이러한 지혜가 전달되는 속도는 더디기만 하다. 예를 들어 데이터 과학자 노아 로랑은 "머신러닝으로 해결할 수 있는 비즈니스 문제는 극히 일부이며, 대부분은 좋은 데이터와 그 의미에 대한 이해만 있으면 된다"라고 주장한 적이 있다.

베인앤컴퍼니의 설문조사에서는 기업의 87%가 현재 생성형 AI 애플리케이션을 개발 중이라고 답했다. 일부 기업에게는 올바른 접근 방식이지만, 다른 많은 기업에게는 그렇지 않다.

ⓒ Getty Images Bank

생성형 AI는 실패를 향해 너무 앞서나가고 있다. 원인은 데이터 거버넌스나 데이터 품질 등 다양하지만, 현재 가장 큰 문제는 기대치다. 사람들은 챗GPT를 오후 동안 사용해보고 공급망 문제나 고객 지원 문의를 해결할 수 있을 것이라고 기대하지만 실제로는 그렇지 않다. AI의 잘못이 아니라 사람의 잘못이다.

순전히 분위기에 따라 설정된 기대치

비아덕트의 머신러닝 엔지니어 슈레야 샨카는 생성형 AI의 축복이자 저주가 머신러닝의 가장 어려운 측면이었던 데이터 준비가 필요 없어졌다는 점이라고 주장한다. 샨카는 "데이터 준비에 거의 노력을 기울이지 않았기 때문에 초반 결과를 보고 금세 놀랄 것이다. 그러면 다음 단계의 실험, 즉 프롬프트 엔지니어링을 추진할 수 있다"라고 말했다.

기업은 데이터 준비라는 힘들고 지저분한 작업, 조금이라도 유용한 결과를 도출하는 모델을 얻기 위해 모든 테스트와 재훈련을 거치는 작업을 빼고 바로 달콤한 디저트 순서로 넘어간다. 결국 비현실적인 기대치로 이어진다. 샨카는 "생성형 AI와 LLM은 출시 전에 어떤 형태의 체계적인 평가도 받지 않기 때문에(훈련 데이터세트를 수집하지 않는다면 뭐하러 그러겠는가?) 순전히 분위기에 따라 기대치를 설정한다는 점에서 조금 더 흥미롭다"라고 말했다.

그러나 분위기와 성공적인 AI 애플리케이션에 필요한 양질의 데이터 세트는 다르다.

머신러닝 성공의 진정한 열쇠는 생성형 AI에서 대부분 놓치고 있는 것, 즉 모델을 지속적으로 튜닝하는 것이다. 샨카는 "머신러닝과 AI 엔지니어링 분야에서 기업은 종종 AI 애플리케이션 출시 직후부터 너무 높은 정확도나 기대치를 기대하며, 데이터를 지속적으로 검사하고 새로운 테스트를 통합하고 엔드 투 엔드 시스템을 개선하는 인프라를 구축하지 않는 경우가 많다"라고 설명한다. 즉, 프롬프트 전후에 이루어지는 모든 작업이 성공을 좌우한다. 생성형 AI 애플리케이션의 경우, 시작이 빠르기 때문에 이러한 규율의 상당 부분이 사라진다.

또한 생성형 AI는 프롬프트와 응답 사이에 일관성이 없기 때문에 상황이 더 복잡해진다. LLM과의 상호작용을 어른과 성숙한 대화를 나누는 것이라고 생각하기 쉽지만, 인사이트(Insight)의 제품 혁신 부문 CTO인 아몰 아지가온카는 오히려 "10대 자녀에게 지시하는 것과 같다. 가끔은 반복해서 말해야 이해한다. AI는 마치 언어가 다른 사람처럼 때로는 말을 듣고 때로는 지시를 따르지 않는다”라고 표현했다.

생성형 AI 시스템과 대화하는 방법을 배우는 것은 예술이자 과학이며, 이를 잘 수행하려면 상당한 경험이 필요하다. 안타깝게도 챗GPT를 이용한 가벼운 실험에서 지나친 자신감을 얻고 도구가 제공할 수 있는 것보다 훨씬 높은 기대치를 설정하는 것은 실망스러운 실패로 이어진다.

반짝이는 새 장난감을 잘 가지고 노는 방법

목표를 달성하는 더 나은 방법이 있는지 고려하지 않고 생성형 AI에 뛰어드는 기업이 늘고 있다. 타이딜리(Tideily) 창립자 산티아고 발다라마는 간단한 휴리스틱 또는 규칙으로 시작할 것을 권장한다. 발다라마는 "첫째, 해결해야 할 문제에 대해 훨씬 더 많은 것을 배울 수 있다. 둘째, 향후 머신러닝 솔루션과 비교할 수 있는 기준선을 확보할 수 있다”라는 장점을 제시했다.

소프트웨어 개발에서 가장 어려운 작업은 코딩이 아니라 어떤 코드를 작성할지 알아내는 일이다. 마찬가지로 AI에서 가장 어려운 일은 AI를 어떻게 적용할지 알아내는 일이다. 간단한 규칙이 더 복잡한 규칙에 양보해야 할 때, 발다라마는 단순한 모델로 전환할 것을 제안한다. ‘단순함’을 끊임없이 강조하고 있다는 점에 주목하라. 발다라마는 "단순함이 항상 승리한다"고 말하며, 더 복잡한 모델이 절대적으로 필요할 때까지는 단순한 모델이 의사 결정의 기준이 되어야 한다고 주장했다.

다시 생성형 AI로 돌아가 보자. 생성형 AI가 주어진 시나리오에서 기업에 필요한 고객 가치를 제공하는 도구일 수도 있다. 가능성은 있다. 하지만 탄탄한 분석과 규칙 기반 접근 방식이 원하는 결과를 제공할 가능성이 더 높다. 반짝이는 새 장난감을 가지고 놀기로 결심했다면, 작고 간단한 것부터 시작해 성공하는 방법을 배우는 것이 최선이다.
editor@itworld.co.kr

Matt Asay editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지