기업 AI 도입 성공 조건은…시기별 명확한 ‘목표’에 달렸다

매경이코노미 ‘AI 콘퍼런스 2025’
이승현 S2W KE팀장 “꼼꼼한 계획 필수”

최근 다수 기업이 생성형 인공지능(AI)을 기업 내부에 도입하려는 움직임을 보인다. 그러나 AI 도입에 어려움을 겪는 사례도 속속 발생한다. 성공적으로 시스템을 구축하기 위해서는 명확한 시기별 계획을 세워야 성공 가능성이 높아진다는 분석이 나온다.

지난 7월 24일 서울 양재동 엘타워에서 매경이코노미 창간 46주년 기념 ‘AX 대전환: AI, 어디까지 써봤니?’ 콘퍼런스가 개최됐다. 이날 행사 오후 세션에서는 ‘AI 도입의 숨은 비용? 위기를 기회로!’라는 주제로 이승현 S2W KE(Knowledge Engineering)팀장이 강연을 펼쳤다.

이승현 S2W KE팀장. (사진=매경DB)

이 팀장이 가장 먼저 강조한 메시지는 ‘꼼꼼한 사전 계획’이다. 그는 “흔히 기업은 생성형 AI를 도입할 때 생산성 향상을 기대한다”며 “만약 계획을 잘못 세우면 오히려 역효과가 날 수 있다”고 경고했다. 이어 “반드시 시스템 구축 전 필요한 비용과 과정을 인지해야 한다”고 덧붙였다.

기업이 생성형 AI를 성공적으로 적용하기 위해서는 내부 시스템과 연계가 중요하다고 강조했다. 이 팀장은 “에이전트는 기업이 보유한 지식 자산을 활용해 문제를 해결한다”며 “결국 좋은 결과를 얻기 위해선 좋은 데이터가 필요한데, 기업 내부 데이터와 연결에 어려움을 겪어 AI를 제대로 적용하지 못하는 기업이 많다”고 꼬집었다.

생성형 AI를 내부 데이터와 연계하려면 기능과 데이터, 권한에 대한 이해가 필수라는 조언도 건넸다. 기업은 먼저 어떤 기능에 특화한 AI 시스템을 구성할지 결정하는 과정이 선행돼야 한다. 기업 내 비정형 데이터를 체계적으로 모아 AI 모델에 제공하는 작업도 필요하다. 기업 내 모든 정보를 보유한 AI에 어느 수준의 권한을 부여할지도 중요하게 고려할 요소다.

기업에 도입할 인터페이스 유형을 선택할 때 역시 신중한 판단이 필요하다. 인터페이스는 크게 3가지로 구분된다. 우선 공용 인터페이스는 챗GPT와 같은 미리 제공된 인터페이스를 사용하는 방식이다. 이 팀장은 “개발 비용이 적고 체계적인 업데이트가 장점”이라면서도 “기업 내부 프로세스에 적합한 맞춤화 수준이 그리 높지 않다”고 말했다.

내부 정보기술(IT) 전담팀이 있는 기업은 주로 일부 모듈을 연계하는 방식을 활용한다. 공용 인터패이스 사용과 직접 개발의 중간 수준이다. 직접 인터페이스를 정의할 땐 시간이 필요하지만, 내부 개발 조직이 있는 기업은 유연하게 시스템을 운영할 수 있다는 장점이 있다.

아예 기업 환경에 특화된 인터페이스를 개발하는 방법도 있다. 다만 장기간 개발이 필요하며 개발 비용이 상당하다. 기업 내 유관부서와 긴밀한 협조가 이뤄져야 가능한 방식이다. 이 팀장은 “지나치게 많은 기능을 탑재할 경우 주제가 불명확한 시스템이 구축되기 때문에 주의해야 한다”고 경고했다.

플랫폼을 활용하는 방안도 추천했다. 독립적으로 동작하는 어플라이언스 형태는 가장 빠르고 저렴한 방식이지만, 기업 특화 플랫폼이 아닌 만큼 명확한 장단점이 있다. 기업 내 IT 플랫폼 인프라를 활용하는 방법도 있다.

다만 이 팀장은 AI 시스템을 구축했다고 끝이 아니라는 점을 강조하며 강단을 내려왔다. 시스템 구축 후 지속적인 관찰이 반드시 동반돼야 한다는 설명이다. AI 플랫폼은 시간이 지날수록 성능이 떨어질 수밖에 없는 구조라는 이유에서다. 이 팀장은 “성능 저하 원인을 정확히 판단해야 한다”며 “플랫폼 도입 후 관리 비용이 계속 지출되기 때문에 적재적소에 예산을 사용할 것을 추천한다”고 말했다.

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]