 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
두 기술 모두 운영을 능률화하고 혁신을 촉발하기 위해 중요한 기술이라는 면에서 API와 분석의 연합은 자연스러운 흐름이다. 일반적으로 조직은 API를 통해 시스템 통합과 프로세스 자동화를 강화함으로써 디지털 트랜스포메이션을 시작하게 된다. 현재 시중에는 여러 개의 포괄적인 턴키 API 관리 솔루션이 나와 있으므로 엔터프라이즈 개발자는 통합으로 간편히 공백을 채우면서 몇 주에서 몇 개월 정도면 시스템을 프로덕션 단계에 투입할 수 있다. 그 이후에는 지속적으로 개선해 나가면 된다.
엔터프라이즈가 데이터 지향 기업을 향해 진화하는 과정에서 디지털 트랜스포메이션의 다음 단계는 분석이다. 조직의 역학을 이해하고 의사 결정을 돕기 위해 사용되는 기술에는 정교한 데이터 집계, 머신러닝, 데이터 마이닝, 데이터 시각화 등이 있다. 이러한 기술을 통해 비즈니스의 역학을 이해하고 패턴을 탐지하고 미래의 전개를 예측할 수 있다. 그러나 데이터 수집 및 맞춤형 분석 구축에는 과제가 따르고, 이로 인해 분석 도입이 지체되고 있다. 또한 도입한다 해도 그 영향은 당초 예상된, 트랜스포메이션을 일으키는 수준의 영향과는 거리가 멀다.
여기서는 문서에서는 전통적인 접근 방법으로 분석을 도입할 때의 과제에 대해 살펴보고, 이와 같은 과제를 해결하는 데 API 관리가 어떤 역할을 하는지 알아본 다음 API 관리를 사용해 분석을 위한 가치 있는 데이터를 발굴하는 솔루션 청사진을 제안한다.
분석 도입을 가로막는 장애물
분석을 구현할 때 조직은 자칫 프로젝트 지연 또는 탈선을 일으킬 수 있는 세 가지 중대한 과제에 직면한다.
첫째, API 관리와 달리 턴키 분석 솔루션이 없다. 따라서 조직은 제품 또는 오픈소스 프로젝트 등 다양한 분석 기술을 조합해서 맞춤형 분석 솔루션을 구축해야 한다. 또한 이를 위해서는 개발 팀이 상당한 양의 코드를 작성해서 필요한 기술과 기존 시스템을 통합해야 한다.
둘째, 통계학, 머신러닝, 시스템에 대한 해박한 지식을 갖춘 데이터 엔지니어(개발자)와 데이터 과학자(설계자)를 채용해야 한다. 이러한 전문가(인력 공급이 부족함)는 어떤 통찰력이 쓸모가 있는지 파악하고 추적할 핵심 성과 지표(KPI)를 결정하고 데이터 수집 시스템을 설계하고 조직 내의 다른 그룹을 이끌어 데이터 수집 코드를 추가하도록 해야 한다. 또한 분석 논리를 작성하고 분석 결과에 따라 더 많은 코드를 작성해서 그에 맞는 조치를 취하고 모든 단계에 걸쳐 파급효과를 이해해야 한다.
셋째, 데이터를 수집하려면 주목할 만한 활동을 알리는 이벤트를 생성하는 계기(센서)를 조직 전반에 추가해야 한다. 이러한 프로젝트를 위해서는 여러 그룹(대규모 엔터프라이즈의 경우 10~20개 팀) 간의 조율이 필요하다. 또한 각 조직으로 센서가 배포될 때까지 기다려야 할 수도 있다. 결과적으로 계기화 프로세스에 많은 시간과 비용이 소비된다.
분석은 큰 효과를 거둘 잠재력을 지녔지만 이와 같은 장애물로 인해 지금까지 본격적으로 도입되지 못했다.
API 기반 분석의 이점
API 관리는 두 가지 요소로 인해 분석의 사용 범위를 더 넓힐 수 있다. 첫 번째는 API 관리 솔루션의 광범위한 도입이다. API 관리 솔루션은 2016년부터 연간 35% 이상 성장 중이다. 고객과 파트너가 더 긴밀한 통합과 손쉬운 자동화를 위해 비즈니스 활동을 API로 노출하고자 하기 때문이다. 또한 성숙한 툴과 강력한 생태계가 API 기술을 뒷받침한다.
두 번째는 조직의 모든 메시지 흐름 내에서 API 관리가 차지하는 전략적 위치다. API는 엔터프라이즈의 모든 내외부 상호작용이 흐르는 관문이다. 웹 사이트 및 기타 사용자 인터페이스도 API에 의존해서 백엔드 기능을 수행할 정도다. API 트래픽을 관찰하면 장기간에 걸쳐 조직의 활동을 확인할 수 있다. API가 모든 상호작용의 중간 매개체가 되면 API 관리 솔루션은 조직이 어떻게 움직이는지 보여주는 포털이 될 수 있다.
따라서 턴키 분석 솔루션을 구축하는 것보다는 턴키 API 기반 분석 솔루션을 API 관리 툴의 필수적인 부분으로 두는 방안을 고려해야 한다. 이와 같은 솔루션은 두 가지 이유로 실효성이 매우 크다.
우선 API 관리는 모든 조직 내외부 통신의 교차점에 위치하므로 실제 시스템 대신 API 관리 툴을 계측할 수 있다. 이 작업은 API 관리 프레임워크의 일부로 한 번 수행하고 필요에 따라 업데이트할 수 있다. 그런 다음 이 API를 통과하는 메시지를 수집하면 조직에 대한 전체적인 시야를 확보하게 된다. 이 중앙집중화된 접근 방법은 엔터프라이즈에서 10개 또는 20개 팀을 조율해 모든 시스템에 계측기를 추가해야 하는 번거로움을 없애 준다. 또한 전통적인 분석에서 시스템 계측을 통해 수집되는 여러 데이터 형식을 관리하는 데 따르는 어려움도 없다.
모든 데이터가 API 관리 시스템과 함께 하나의 논리적 계층을 통해 수집되므로 데이터의 형식이 확실하다. 이로써 사기 탐지, 고객 이동 경로 추적, 세그먼트 분석 등의 일반적인 사용 사례를 기본 시나리오로 지원하는 턴키 API 기반 분석 솔루션을 개발할 수 있게 된다. 숙련된 데이터 과학자로 구성된 팀은(소프트웨어 벤더, 시스템 통합업체 내의 팀 또는 엔터프라이즈 개발 팀) 대부분의 일반적인 사용 사례를 포괄하는 복합적인 분석을 구축하는 데 리소스를 투자할 수 있다. 이후 대규모 엔터프라이즈 내의 여러 조직 또는 여러 그룹이 이러한 시나리오에 대한 분석을 사용할 수 있다.
API 기반 분석을 위한 청사진
턴키 API 기반 분석 솔루션에서는 엔터프라이즈 전역의 모든 시스템 또는 하위 시스템을 계측하는 대신 API 관리 툴을 계측한다. 모든 API 활동을 계측화해서 얻는 데이터는 조직과 조직의 내부 활동을 분석하고 이해하기에 충분한 정보를 제공할 수 있다. 또한 API를 업데이트하는 방법으로 분석 기능 업데이트가 가능하다.
다음 그림은 API 관리 위에 계층화된 API 기반 분석 솔루션의 전체적인 청사진을 보여준다.
 |
<이미지를 클릭하시면 크게 보실 수 있습니다> |
여기서 제시하는 접근 방법을 보면 API 계층에서 수집되는 데이터에는 다음에 대한 정보가 포함될 수 있다.
- 요청 및 응답: 시간 스탬프, 헤더, 전체 메시지, 메시지 크기, 요청 경로 URL 포함
- 호출, IP 주소, 사용자 이름, 사용자 에이전트
- 프로세싱: 시작된 시간, 종료된 시간, 결과, 오류, API 이름, 호스트 이름, 프로토콜 포함
분석 시스템은 이런 정보만 사용해서 어느 사용자가 언제, 어디서, 어떤 API를 호출하는지에 관한 세부적인 그림을 완성할 수 있다. 이 정보를 더 심층적으로 분석하면 예를 들어 고객 이동 경로를 파악해서 어떤 활동이 고객 구매를 유도하는지를 알아내고, API가 받는 부하를 확인할 수 있다.
그러나 이런 정보는 많은 사용자에게 너무 기술적이므로 비즈니스 개념에 한 단계 더 매핑해야 한다. 이러한 매핑의 예를 들면 다음과 같다.
- 수신되는 요청의 수를 아는 것 외에, 각 요청과 관련된 돈의 흐름을 파악할 수 있다면 유용할 것이다.
- 단순히 API 이름을 아는 것 외에, 그 API가 속한 사업부와 요청을 처리하기 위한 평균 비용을 알면 유용할 것이다.
- 고객 이름을 아는 것 외에, 고객을 대상으로 인구 통계를 내고 이를 바탕으로 데이터를 가공할 수 있다면 유용할 것이다.
요약하자면 비즈니스 수준의 통찰력을 제공하려면 데이터 수집 계층에서 명확하게 눈에 띄는 수준을 넘어 부가적인 정보를 수집해야 한다. 이를 달성하기 위한 방법은 두 가지다.
첫 번째는 API 정의에 메시지 콘텐츠 내의 흥미로운 데이터에 관한 정보를 주석으로 넣는 것이다. 이렇게 하면 데이터 수집 계층에서 자동으로 그러한 정보를 추출해서 분석 시스템으로 보낼 수 있다. 대부분의 메시지는 XML 또는 XPath를 사용하며, 정보를 추출하는 명령어는 XPath 또는 JSON XPath 식으로 제공할 수 있다.
두 번째 방법은 수집된 데이터와 합쳐 더 세부적인 처리를 가능하게 해주는, 데이터 집합에 관한 세부 정보를 API 정의에 주석으로 다는 방법이다. 예를 들어 고객 이름 또는 API가 속한 사업부, 평균 요청 처리 비용과 같은 정보와 결합할 수 있는 고객 인구 통계 데이터를 제공할 수 있다.
앞서 언급했듯이 모든 데이터는 하나의 논리적 계층을 통해 수집되므로 데이터의 형식이 확실하다. 따라서 숙련된 데이터 과학자 팀은 일반적인 대부분의 사용 사례를 포괄하는 복합적인 분석을 구축할 수 있다. 예를 들면 다음과 같다.
- 다양한 사업부, API, 비즈니스 활동, 고객 세그먼트, 지리적 위치에 따른 매출 및 비용 기여에 대한 세부적인 상시 분석.
- 추세와 과거 이력 데이터를 기반으로 들어오고 나가는 돈의 흐름을 분석하고 예측.
- 판매 파이프라인이 고객으로 어떻게 변환되는지, 변환으로 이어질 가능성이 높은 활동은 무엇인지를 탐색하는 고객 이동 경로 분석.
- 전체적인 활동을 기반으로, 그리고 개별 고객이 정상적인 행동에서 이탈할 때 사기 탐지
기업은 이러한 솔루션을 구현하면 분석을 처음부터 새로 구축할 필요 없이 최적의 상품과 경험을 제공하는 데 리소스를 집중하고 시간과 지식을 투자할 수 있다. 턴키 분석은 모든 사용 사례를 포괄하지는 않지만 구축 즉시 실질적인 가치를 추가할 수 있다. 주요 사용 사례가 기본적으로 지원되므로 각 팀에서 수집된 데이터를 기반으로 자체 분석 앱을 구축하면 가장자리 사례(edge case)를 처리할 수 있다. 마지막으로, 턴키 솔루션의 지원으로 API 자체가 특정 작업을 트리거할 수 있다.
여기서 제시한 솔루션은 맵리듀스(MapReduce) 시스템, 머신러닝 프레임워크, 스트림 프로세서와 같은 기존 분석 솔루션 위에 구축할 수 있다. 이러한 기술을 대체하는 것이 아니라 결합되어 데이터 형식을 정의하고 턴키 데이터 수집 메커니즘, 그리고 구현 즉시 사용 가능한 턴키 분석 앱을 제공한다.
API 기반 비즈니스 분석의 과제
물론 턴키 API 기반 분석 접근 방법에도 해결해야 할 과제는 있다. 첫 번째 과제는 API 개발 중에 메시지에서 흥미로운 정보를 추출하는 방법을 설명하는 주석을 API 정의에 추가하는 것이다. 이 단계를 최대한 간편하게 하는 것이 중요하다. 이를 위해서는 메시지를 탐색하고 주출할 특정 영역을 선택하고 중요한 데이터 포인트를 제안하는 툴을 포함해야 할 수 있다.
두 번째 과제는 고객과 서비스 구현 사이의 프록시 역할을 하는 API 게이트웨이 내에서 데이터 추출과 데이터 수집 단계를 효율적으로 구현하는 것이다. API 게이트웨이는 모든 API 호출의 핵심 경로에 위치하므로 최적화되지 않은 구현은 성능을 크게 저하시킬 수 있다.
세 번째 과제는 API 호출로 수집된 데이터 위에 구축할 수 있는 일반적인 분석 솔루션을 파악하고 구현하는 일이다. 여기에는 최선의 알고리즘, 데이터를 표현할 최선의 방법, 최적의 사용자 경험을 알아내는 일이 포함된다. 어려운 문제지만, 각 조직 또는 사업부가 자체 분석을 파악해야 하는 현 상태와 비교하면 여러 분석 시나리오에 재사용 가능한 솔루션 개발이 가능하다는 이점이 있다.
API는 조직이 어떻게 움직이고 있는지 보여주는 포털 역할을 하며, 엔터프라이즈의 운영과 상호작용, 사업부 세부 정보를 비롯한 여러 통찰력을 제공한다. 이는 엔터프라이즈 전체를 계측하는 대신 API 관리 툴을 계측해서 데이터를 수집할 수 있는 기회를 열어준다.
API 관리 계측은 하나의 논리적 계층을 통해 데이터를 수집하고 조직을 위한 턴키 분석 시나리오를 제공할 수 있게 해준다. 여러 팀 간의 조율을 최소화하거나 아예 없애는 턴키 API 기반 분석 솔루션을 구축하기 위한 기회가 열리게 된다. 결과적으로 API 관리 툴과 통합되어 긴밀히 연계 작동하는 분석 시스템은 분석 응용 비용을 대폭 낮추고 구현 즉시 가치를 얻을 수 있게 해준다.
* Srinath Perera은 WSO2의 리서치 담당 부사장이다.
editor@itworld.co.kr
Srinath Perera editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지
이 기사의 카테고리는 언론사의 분류를 따릅니다.
기사가 속한 카테고리는 언론사가 분류합니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
언론사는 한 기사를 두 개 이상의 카테고리로 분류할 수 있습니다.
