빅데이터 1000배 빠르게 분석...패턴 마이닝 기술 개발

김민수 DGIST 정보통신융합전공 교수

빅데이터를 1000배 빠르게 분석할 수 있는 기술이 개발됐다.

DGIST(총장 손상혁)는 김민수 정보통신융합전공 교수팀이 빅데이터 패턴을 최대 1000배 이상 빠르게 분석할 수 있는 '지마이너(GMiner)' 기술을 개발했다고 28일 밝혔다.

패턴 마이닝 기술은 빅데이터에서 반복적으로 나타나는 패턴을 찾아내는 기술이다. 수십 기가바이트(GB)가 넘는 빅데이터는 메모리가 부족하거나 분석 시간이 많이 소요됐다. 그동안에는 중간 길이 패턴을 구한 후 메모리에 저장, 이보다 긴 패턴을 구할 때 대조해 최종 패턴을 찾았다.

김 교수팀이 개발한 '지마이너' 기술은 GPU(그래픽처리장치)의 수천 개 코어를 사용해 임시로 계산한 중간 길이 패턴들을 조합하고, 최종 길이 패턴을 구하는 반직관적인 기법을 활용했다. 기하급수적으로 늘어나는 패턴을 메모리에 저장하지 않는다. 데이터를 메인 메모리에서 GPU로 스트리밍하는 것과 동시에 GPU의 높은 계산 성능을 이용해 패턴을 구함으로써 느린 속도 문제도 해결했다.

김민수 교수는 “빅데이터 패턴을 메모리 문제없이 초고속으로 분석할 수 있는 원천 기술을 확보했다”면서 “메모리 부족과 느린 속도 때문에 패턴 마이닝 기술을 빅데이터에 제대로 적용하지 못했던 문제를 해결했다”고 말했다.

대구=정재훈기자 jhoon@etnews.com

[Copyright © 전자신문. 무단전재-재배포금지]