KAIST “데이터 부족해도 딥러닝 정확도 높인다”

- 이재길 KAIST 교수팀, 훈련 데이터 부족현상 해결 기술 개발

- 이미지 분류 문제에서 최신 방법 대비 최대 12% 정확도 향상

이재길(왼쪽) KAIST 전산학부 교수와 박동민 박사과정.[KAIST 제공]

[헤럴드경제=구본혁 기자] 최근 다양한 분야에서 딥러닝(심층학습) 기술을 활용한 서비스가 급속히 증가하고 있다. 서비스 구축을 위해서는 심층 학습 모델을 훈련해야 하며, 이를 위해서는 충분한 훈련 데이터를 준비해야 한다. 특히 훈련 데이터에 정답지를 만드는 레이블링(labeling) 과정이 필요한데 이 과정은 일반적으로 수작업으로 진행되므로 엄청난 노동력과 시간이 소요된다.

한국과학기술원(KAIST)은 전산학부 이재길 교수 연구팀이 적은 양의 훈련 데이터가 존재할 때도 높은 예측 정확도를 달성할 수 있는 새로운 모델 훈련 기술을 개발했다고 27일 밝혔다.

심층학습 모델의 훈련은 주어진 훈련 데이터에서 레이블과 관련성이 높은 특성을 찾아내는 과정으로 볼 수 있다. 예를 들어 ‘낙타’의 주요 특성이 등에 있는 ‘혹’이라는 것을 알아내는 것이다. 그런데 훈련 데이터가 불충분할 경우 바람직하지 않은 특성까지도 같이 추출될 수 있는 문제가 발생한다. 낙타 사진의 배경으로 종종 사막이 등장하기에 낙타에 대한 특성으로 사막이 추출되는 것도 가능하다. 사막은 낙타의 고유한 특성이 아닐뿐더러, 이러한 바람직하지 않은 특성으로 인해 사막이 아닌 곳에 있는 낙타는 인식하지 못할 수 있다.

연구팀이 개발한 기술은 심층 학습 모델의 훈련에서 바람직하지 않은 특성을 억제해 충분하지 않은 훈련 데이터를 가지고도 높은 예측 정확도를 달성할 수 있게 해준다.

예를 들어 낙타와 호랑이 사진의 분류를 위한 훈련 데이터에 대해 여우 사진은 분포 외 데이터가 된다. 이때 이 교수팀이 착안한 점은 훈련 데이터에 존재하는 바람직하지 않은 특성은 분포 외 데이터에도 존재할 수 있다는 점이다.

비선호(比選好) 특성 억제 방법론 동작 개념도.[KAIST 제공]

즉 여우 사진의 배경으로도 사막이 나올 수 있다. 따라서 다량의 분포 외 데이터를 추가로 활용해 여기에서 추출된 특성은 영(0) 벡터가 되도록 심층 학습 모델의 훈련 과정을 규제해 바람직하지 않은 특성의 효과를 억제한다. 훈련 과정을 규제한다는 측면에서 정규화 방법론의 일종이라 볼 수 있다. 분포 외 데이터는 쓸모없는 것이라 여겨지고 있었으나, 이번 기술에 의해 훈련 데이터 부족을 해소할 수 있는 유용한 보완재로 탈바꿈될 수 있다.

연구팀은 이 정규화 방법론을 ‘비선호(比選好) 특성 억제’라고 이름 붙이고 이미지 데이터 분석의 세 가지 주요 문제에 적용했다. 그 결과 기존 최신 방법론과 비교했을 때, 이미지 분류 문제에서 최대 12% 예측 정확도를 향상했고, 객체 검출 문제에서 최대 3% 예측 정확도를 높였고 객체 지역화 문제에서 최대 8% 예측 정확도를 향상시켰다.

박동민 KAIST 박사과정 학생은 “이번 기술은 훈련 데이터 부족 현상을 해결할 수 있는 새로운 방법”이라면서 “분류, 회귀 분석을 비롯한 다양한 기계 학습 문제에 폭넓게 적용될 수 있어, 심층 학습의 전반적인 성능 개선에 기여할 수 있다”고 밝혔다.

이재길 교수는 “이 기술이 텐서플로우, 파이토치와 같은 기존의 심층 학습 라이브러리에 추가되면 기계 학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있을 것”이라고 말했다.

이번 연구결과는 오는 12월 열리는 신경정보처리시스템학회에서 발표될 예정이다.

nbgkoo@heraldcorp.com

Copyright ⓒ 헤럴드경제 All Rights Reserved.