많은 조직이 AI 에이전트를 실험하면서 어떤 직무 역할에 초점을 맞출지, 언제 작업을 자동화할지, 어떤 단계에 인간의 개입이 필요한지를 살펴보고 있다. AI 에이전트는 대규모 언어 모델의 강력한 힘을 API와 연결해 이러한 모델이 다음과 같은 다양한 영역에서 직원 워크플로우와 고객 경험에 매끄럽게 통합될 수 있도록 한다.
- - 현장 운영 AI 에이전트는 서비스 호출을 처리하기 위한 단계를 개략적으로 파악하는 데 도움이 될 수 있다.
- - HR 에이전트는 채용 담당자와 협력해 우수 지원자의 면접 일정을 잡을 수 있다.
- - 금융 AI 에이전트는 공급망, 조달, 매출채권 관리에서 발생하는 일상적인 과제에 대응하는 데 도움이 된다.
- - 코딩 에이전트는 바이브 코딩을 촉진하고 애플리케이션 개발을 가속화하는 AI 지원 개발 플랫폼에 통합된다.
- - AI 에이전트는 작업 공간에 통합돼 회의에 참여하고 토론 내용을 요약하고 후속 작업을 생성하고 다음 회의 일정을 잡는다.
전 세계 유수의 IT 조직은 AI 에이전트를 개발하면서 빠른 배포에 따른 위험을 낮추기 위한 전략과 실행 방안도 마련하고 있다. 워크데이(Workday)의 CIO 라니 존슨은 “세계적인 수준의 IT 팀을 구축하기 위해서는 위험에 대해 주도적으로 논의해야 한다. 우리는 법무, 개인정보 보호, 보안 팀과 긴밀히 협력해 전체적인 전략과 보조를 맞추는 명확한 도입 위험 허용 범위를 설정한다”고 말했다.
모든 기술, 데이터, 비즈니스 리더에게 중요한 질문은 AI 에이전트가 활용하는 기반 데이터가 “AI에 준비된 데이터”인지 여부다. 오시언트(Ocient)의 비욘드 빅데이터(Beyond Big Data) 설문조사 보고서에 따르면 리더의 97%가 AI로 인해 데이터 처리량이 현저히 증가했다고 답했지만, AI 기반 업무 환경의 규모와 복잡성 증대에 완전히 대비됐다고 답한 비율은 33%에 그쳤다. 대부분의 AI 에이전트가 엔터프라이즈 데이터를 활용해 비즈니스, 산업, 역할별 응답과 권장 사항을 제시하는 만큼 데이터의 AI 준비성 확립은 매우 중요하다.
여러 비즈니스와 기술 리더에게 영업, HR, 재무, IT 운영과 같은 영역에서 AI 에이전트의 데이터 준비 상황을 어떻게 평가하는지 물었다. 그리고 답변에서 7가지 중요한 실행 방안을 파악해 정리했다.
데이터와 인텔리전스의 중앙화
과거 IT 부서는 데이터 웨어하우스와 데이터 레이크로 데이터를 중앙화하고 데이터 패브릭으로 리소스를 연결하는 부분에 대대적으로 투자했다. 그러나 데이터가 곧 인텔리전스는 아니다. 데이터 과학과 컴퓨팅 작업의 상당부분은 SaaS 툴과 데이터 분석 플랫폼, 기타 시민 데이터 과학 툴이 난립한 환경의 다운스트림에서 발생하기 때문이다. 게다가 수많은 스프레드시트, 프레젠테이션, 기타 비정형 문서가 제대로 분류되지 않은 채 사용되며, 통합 검색 기능도 없다.
TCS의 북미 트랜스포메이션 부문 부사장인 수샨트 트리파티는 “데이터를 끝없이 옮기고 변환하는 대신, 데이터가 위치한 곳으로 인텔리전스를 가져와서 컨텍스트, 신뢰, 품질이 소스에서부터 구축되는 엔터프라이즈 준비 데이터를 향한 여정을 확립해야 한다. 이 연결된 조직 인텔리전스는 기업 패브릭에 통합돼 단편화된 정보를 신뢰할 수 있고 통합된 자산으로 변환해서 AI 에이전트가 엔터프라이즈 규모에서 속도와 컨텍스트를 확보하고 움직일 수 있도록 한다”고 말했다.
IT 부서가 데이터와 인텔리전스를 중앙화할 방법을 모색하고 있는 중에도 쌓여 있는 데이터 부채는 AI 에이전트에서 데이터를 사용할 때 위험을 발생시킨다.
SAP 데이터 및 분석 부문 CMO 댄 유는 “신뢰할 수 있는 AI를 촉진하려면 AI 준비 데이터는 볼륨과 정확성을 넘어 통합, 신뢰, 거버넌스가 필요하다. 적절한 비즈니스 데이터 패브릭 아키텍처를 갖추면 컨텍스트를 보존하고 편향성을 완화하고 AI의 모든 계층에 책임성을 내재화할 수 있다. 이 기반은 정확하고 감사 가능한 의사결정을 보장하고, AI가 의미적으로 풍부하고 관리되는 데이터 제품을 기반으로 확장하고 적응할 수 있도록 한다. 여기서 지속적인 비즈니스 가치가 제공된다”고 말했다.
권장 사항 : 대부분의 조직은 지속적으로 쌓이는 데이터옵스 및 데이터 부채에 대처해야 한다. 제품 기반 IT 조직은 데이터 리소스를 제품으로 관리하고 AI 우선순위에 맞춘 로드맵을 개발해야 한다.
규정 및 보안 표준 준수
시큐리티(Securiti)의 최고 데이터 책임자 잭 버코위츠는 데이터 보안에 대해 “먼저 생성형 AI 애플리케이션을 통해 들고나는 정보에 대해 누구에게 액세스 권한이 있어야 하는지, 콘텐츠에 민감한 정보가 포함돼 있는지, 그리고 이 데이터와 정보가 어떻게 처리되고 쿼리되는지에 대한 답을 찾는 것부터 시작해야 한다. 능동적으로 데이터를 처리하고 의사결정을 수행하는 에이전틱 AI를 향해 나아가는 상황에서 평면적이고 정적인 가드레일은 맞지 않는다”고 말했다.
무단 AI 에이전트를 방지하고, 혜택보다 위험이 더 큰 영역에서 데이터가 사용되지 않도록 하기 위해서는 가드레일이 필요하다.
레일AI(ReilAI의) CEO 조앤 프리드먼은 “대부분의 기업은 안전한 SDLC, 저장 및 전송 시 암호화, 역할 기반 액세스 제어, 데이터 손실 방지, 그리고 GDPR/HIPAA/CCPA와 같은 규정 준수 등 괜찮은 보안 기반을 갖추고 있다. 전통적인 IT에는 이정도로 충분하지만, 데이터가 빠르게 변형되고 새로운 사용 패턴이 수시로 나타나고 모델 행동을 추측이 아닌 관리해야 하는 AI에는 불충분하다”고 말했다.
권장 사항 : AI 위험 대응 데이터의 다음과 같은 4개 핵심 요소를 구축하자.
- - AI 자재 명세서 정의
- - NIST AI RMF, ISO 42001과 같은 위험 관리 프레임워크 사용
- - 생성형 AI 프롬프트를 데이터로 취급하고 프롬프트 주입, 데이터 유출 및 관련 오남용으로부터 보호
- - 모델 카드, 데이터 집합에 대한 데이터시트와 함께 AI를 문서화(의도된 용도, 제한 사항, 기타 자격 포함)
컨텍스트 메타데이터와 주석 정의
AI 언어 모델은 상충된 정보가 포함된 여러 문서와 데이터 소스로부터 데이터를 받을 수 있다. 직원의 프롬프트가 잘못된 응답이나 환각으로 이어진다면 직원은 보충 설명을 통해 간극을 메울 수 있다.
그러나 AI 에이전트가 직원 워크플로우와 고객 여정에 통합된 상황에서는 잘못된 추천과 행동에 따르는 위험이 훨씬 커진다. 문서와 데이터 소스에 기반 정보를 책임감 있게 사용하는 방법을 알려주는 풍부한 메타데이터와 주석이 포함되면 AI 에이전트의 정확성이 개선된다.
그래프와이즈(Graphwise)의 성장 및 마케팅 담당 수석부사장 안드레아스 블루마우어는 “데이터를 위한 범용 사전과 같은 시맨틱 계층을 추가해 AI가 데이터의 이면에 있는 의미를 이해할 수 있도록 해야 한다. 이 계층은 일관적인 라벨, 메타데이터, 주석을 사용해 각 데이터 조각이 의미하는 바를 AI에 알려주고, 이를 비즈니스 개념과 질문에 직접 연결한다. 또한 AI가 비즈니스 컨텍스트를 이해하도록 특정 산업 지식이나 도메인 지식 모델도 여기에 포함해야 한다”고 말했다.
권장 사항 : 산업별 분류 체계와 분류 표준을 활용하고 더블린 코어(Dublin Core), Schema.org, PROV-O, XMP 같은 메타데이터 표준을 적용한다.
편향성 없는 데이터의 통계적 유의성 검토
설문조사는 시장 조사를 위한 주된 도구다. 연구자들은 응답자가 편향성에 노출되는 것을 최소화하기 위한 모범 사례에 따라 설문 문항과 답변을 결정한다. 예를 들어 서비스 데스크를 사용하는 직원을 대상으로 하는 “탁월한 헬프 데스크 팀의 빠른 응답 속도에 얼마나 만족하십니까?”라는 문항은 편향적이다. ‘탁월한’, ‘빠른’과 같은 단어에는 주관적인 기준이 내포돼 있기 때문이다.
연구자들이 해결해야 하는 또 다른 과제는 모든 응답자 세그먼트에 대해 충분한 표본 크기를 확보하는 것이다. 예를 들어 서비스 데스크에 대한 설문 응답자 중에서 경영진 세그먼트에 속한 사람이 극소수에 불과한데 이를 근거로 서비스 데스크 설문에 대한 경영진 응답을 작성한다면 그 결과는 정확하지 않을 것이다.
AI에 사용할 데이터를 검토할 때는 통계적 유의성과 데이터 편향성에 대한 고려가 더 중요해지는데, 특히 문제의 데이터가 AI 에이전트의 의사결정에 사용된다면 더욱 그렇다.
앤서로켓(AnswerRocket)의 데이터 과학 책임자이자 워싱턴대학교 겸임 교수인 샨티 그린은 “AI 준비 데이터를 위해서는 기존 품질 프레임워크 이상의 통계적 엄격함이 필요하다. 이는 평등화된 확률, 분포 안정성 테스트, 반사실적 추론을 가능하게 하는 인과관계 식별 프레임워크를 포함한 포괄적 편향성 감사까지 포함한다”고 말했다.
그린은 또한 “정교한 생성형 모델을 통해 혁신적 결과를 얻고자 하는 조직은 역설적으로 경계 사례를 포괄하기에는 볼륨이 부족한 데이터 인프라에 따른 제약을 받는다. AI 시스템은 여전히 통계적 기반에 묶여 있다. 이는 불충분한 데이터로 학습된 모델이 환각을 만들어낸 다음 마치 뛰어난 지능을 가진 것처럼 위장할 수 있음을 보여준다”고 덧붙였다.
권장 사항 : 데이터 편향성에 대한 이해와 문서화는 데이터 거버넌스를 위한 타협 불가능한 요소가 돼야 한다. 적용 가능한 공통 공정성 지표에는 인구통계학적 균등성과 평등화된 확률이 있으며, p-값 테스트는 통계적 유의성 테스트에 사용된다.
데이터 품질 지표 벤치마킹 및 검토
데이터 품질 지표는 데이터 집합의 정확성, 완전성, 일관성, 적시성, 고유성, 유효성에 초점을 맞춘다. 데이터펠라고(DataPelago)의 대표 JG 치라푸라스는 다음과 같은 지표를 추적할 것을 권장한다.
데이터 완전성: 완전한 것으로 간주되려면 중요한 필드의 항목 중 비어 있거나 누락된 비율이 5% 미만이어야 한다.
- - 통계적 드리프트: 주요 통계가 예상 값과 비교해 2% 이상 변한다면 인간의 검토가 필요한 데이터로 분류된다.
- - 편향 비율: 어느 한 그룹이나 세그먼트의 결과가 다른 그룹 또는 세그먼트의 결과와 20% 이상 차이가 나는 경우 사람의 검토가 필요한 데이터로 분류된다.
- - 기준 데이터 집합: AI 출력은 표본 하위 집합에서 인간의 검증을 거친 진실과 90% 이상 일치해야 한다.
미디어민트(MediaMint)의 회장 겸 CEO인 라지브 부타니는 “조직은 널 및 중복 비율, 스키마와 분류 체계 일관성, SLA 대비 신선도, 예약/제공/청구 기록 간의 조정 편차와 같은 지표를 사용해 준비성을 측정할 수 있다. 편향성과 위험은 동의 범위, PII 노출 점수, 보존 또는 삭제 검증을 통해 테스트할 수 있다”고 말했다.
권장 사항 : 데이터 품질 지표를 선택하고 종합적인 데이터 상태 점수를 계산하는 것은 데이터 카탈로그의 일반적인 기능으로, AI와 의사결정에서의 데이터 집합 사용에 대한 신뢰를 구축하는 데 도움이 된다. 데이터 거버넌스 리더는 목표 벤치마크를 전파하고 데이터 품질 기준에 미치지 못하는 데이터 집합에 대한 검토 프로세스를 마련해야 한다.
데이터 분류, 계보, 출처 확립
데이터 품질을 넘어 핵심 데이터 거버넌스 실행 방안에는 IP와 개인정보 보호를 위한 데이터 분류, 데이터 계보와 출처 확립이 포함된다.
이뮤타(Immuta)의 창업자 겸 CEO인 맷 캐롤은 “미래에는 ID 시스템에 비인간 ID로 등록되고 책임을 지고 사람과 동일한 규율의 대상이 되는 AI 에이전트를 관리하는 것이 중요하다. 이를 위해 정보를 위험 등급별로 분류해서 인간의 감독이 반드시 필요한 지점에는 일종의 검문소를 마련하고 저위험 상호작용은 자유롭게 흐르도록 해야 한다”고 말했다.
콩가(Conga)의 제품 및 포트폴리오 마케팅 담당 부사장 제프 웹은 에이전틱 워크플로우의 결과를 신뢰하기 전에 반드시 평가해야 할 두 가지 핵심 지표를 다음과 같이 설명했다.
- - 데이터 출처는 데이터가 처음 생성된 곳을 의미한다. 소스를 신뢰할 수 있는지, 그리고 그 데이터가 어떻게 현재 사용 중인 데이터 집합의 일부가 되었는지를 확인해야 한다.
- - 데이터 이력(chronology)은 데이터가 얼마나 오래되었는지를 나타낸다. 더 이상 목표와 관련성이 없는 데이터 또는 구시대적 업무 관행이 반영된 데이터나 규정을 준수하지 않는 프로세스, 과거의 잘못된 비즈니스 관행을 반영하는 데이터를 사용한 모델 학습을 방지해야 한다.
권장 사항 : 규제 대상 산업은 오래전부터 데이터 거버넌스 관행을 발전시켜왔다. 이러한 분야에서 뒤처진 기업이라면 데이터 분류를 출발점으로 삼아야 한다.
인간 개입(human-in-the-middle) 피드백 루프 구축
조직이 AI에서 사용하는 데이터 집합이 많아질수록 주제 전문가와 기타 최종 사용자들이 AI 언어 모델과 에이전트의 정확성을 지속적으로 검증해야 한다. 데이터옵스는 AI에 대한 피드백을 기반 데이터 소스까지 확장해 개선 우선순위를 정하고 새로운 데이터 집합으로 보강할 영역을 파악해야 한다.
프린서펄 파이낸셜 그룹(Principal Financial Group)의 엔터프라이즈 비즈니스 솔루션 부사장 겸 CIO인 라이언 다우닝은 “우리 콜센터는 단순히 고객 상호작용을 듣는 데 그치지 않고, 그 정성적 데이터를 엔지니어링 팀에 전달해서 경험을 설계하는 방식을 개선한다. 사람들이 AI가 접목된 솔루션과 어떻게 상호작용하는지, 그리고 그 상호작용이 예를 들어 누군가가 모바일 앱을 사용한 후에도 여전히 콜센터로 전화를 걸 수밖에 없었는지 여부 등 다운스트림 행동과 어떻게 연관되는지를 측정한다”고 말했다.
권장 사항 : 비정형 데이터 집합과 사람들의 의견, 감정을 포착하는 데이터 집합은 변동성에 가장 취약하고, 변동성은 통계적 방법으로 쉽게 검증할 수 없다. 특히 완전한 설명이 가능하지 않은 AI 모델이 많은 만큼 이러한 데이터를 기반으로 구축된 AI 모델에서 이상한 응답이 보고된다면 데이터에서 근본 원인을 추적해야 한다.
데이터 준비성 체크리스트 자동화
DataOps.live의 CTO 가이 애덤스는 “AI에 준비된 데이터란 단순히 좋은 데이터가 아니라 제품화되고 관리되고 올바른 컨텍스트와 함께 제공돼 AI 시스템이 신뢰할 수 있는 데이터, 아직 우리가 상상하지 못한 AI 사용 사례에서도 재사용이 가능한 데이터”라고 말했다. AI 에이전트와 기타 AI 역량에 대대적으로 투자하는 조직은 먼저 데이터의 준비성을 확보하고, 그 다음 지속적인 검증을 위한 체크리스트를 자동화한다. 또한 더 미션 크리티컬한 워크플로우와 매출 영향이 큰 고객 경험에 데이터가 사용되는 경우에는 데이터 집합의 AI 준비성을 판단하는 기준을 더 높여야 한다.
dl-itworldkorea@foundryco.com
Isaac Sacolick editor@itworld.co.kr
저작권자 Foundry & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.