합성 데이터로 AI 편향 해결하는 스타트업

[박찬 위원]

안면인식이나 감정 AI와 같이 공개적으로 사용 가능한 데이터를 수집하기 어려운 경우를 위한 맞춤형 합성 데이터가 주목을 끌고 있다.

지하철의 술 취한 사람, 화상회의 중에 지루해하는 사람, 졸음 운전하는 사람 등 사람들의 행동을 모니터링해 감정과 신체 언어를 해석하는 인공지능(AI) 기술이 한창이지만 개인 정보 유출이나 데이터 편향의 우려로 실제로 접근할 수 있는 데이터가 점점 줄어들고 있다. 이를 해결하기 위해 가짜 데이터가 필요해져 일부 스타트업 회사들이 합성 데이터 생성에 나서고 있다.

합성 데이터 회사는 논란의 여지가 있는 안면인식, 감정 AI 또는 사람의 행동을 추적하는 AI에서 모델을 훈련하거나 개선하기 위한 목적으로 수백만 개의 이미지, 비디오 및 오디오 데이터 샘플을 생성해 제공하고 있다.

합성 데이터 회사 데이터젠(Datagen)의 CEO인 오퍼 저크(Ofir Zuk)는 "컴퓨터 비전 기반 AI를 구축하는 회사는 과거에는 공개적으로 사용 가능한 데이터 세트에 의존했지만 이제는 실제로 액세스할 수 있는 데이터가 점점 없어지는 문제를 해결하기 위해 맞춤형 합성 데이터를 찾고 있다"고 말했다.

기술매체 프로토콜(Protocol)에 따르면 데이터젠, 마인드테크(Mindtech), 신테시스 AI(Synthesis AI)를 비롯한 합성 데이터 회사는 분야별로 점차 세분화되고 있으며 AI 산업의 한 축이 되어 가고 있다. 합성 데이터 회사는 소프트웨어, 애플리케이션의 기능 또는 차량에 사용되는 시스템을 구축하기 위해 조립될 AI 부품처럼 데이터를 생산한다. 거대 기술 대기업, 자동차 제조업체, 게임 회사 또는 휴대 전화 제조업체에서 일하는 컴퓨터 비전 엔지니어 및 데이터 과학자와 같은 고객에게 서비스를 제공한다.

합성 데이터 세트는 실제를 모방하기 위한 것이다. 합성 데이터는 실제 사진이나 비디오 데이터를 복제하지 않고 AI 시스템이 학습하는 데 도움이 되는 세부 정보를 추가하여 데이터 세트를 향상시킨다. 때때로 합성 데이터는 실제 데이터가 존재하지 않거나 얻기 어려운 데이터 결핍 문제를 해결한다. 자율 차량 AI를 훈련하는 데 사용되는 위험한 고속도로 상황을 묘사하거나 AI가 공정하고 정확한 결정을 내릴 수 있도록 하는 데 필요한 여러 민족 또는 연령대를 나타내는 얼굴 이미지를 포함할 수 있다.

신테시스 AI의 CEO인 야사르 베자디(Yashar Behzadi)는 "우리는 광범위한 연령, 성별, 체질량지수(BMI) 및 민족에 걸친 합성 데이터를 제공해 고객이 AI 편향을 줄일 수 있도록 돕는다"고 강조했다.

술 취한 사람과 부정행위를 찾아내는 AI 훈련 데이터 합성

사실적인 컴퓨터 그래픽을 기반으로 이미지를 디자인하고 렌더링하는 플랫폼을 제공하는 회사인 마인드테크는 최근에 AI를 이용해 응시자가 컴퓨터 화면에서 시선을 돌리거나 다른 사람과 상호작용하거나 전화를 이용하는 등 부정 행위의 징후를 보이는지 모니터링해 부정행위를 감지할 수 있는 솔루션을 위한 합성 데이터를 생성했다. AI 모델이 다양한 사람들이 관련된 여러 환경에서 부정 행위의 가능한 모든 징후를 포착하려면 손, 눈, 몸의 움직임을 보여주는 대규모 이미지 코퍼스가 필요하다. 얼굴의 키 포인트 데이터와 골격 포즈 데이터를 시스템에 입력해 시스템을 훈련하여 사람의 시선이 향하는 방향, 신체의 방향 또는 손이 향하는 방향을 이해하면 데이터는 훨씬 더 복잡해진다. 수집 가능한 실제 데이터가 존재하더라도 구매하기에 너무 비싸거나 개인 정보가 유출될 가능성이 높다.

마인드테크는 지하철 역과 같은 공공 장소에서 사용할 AI를 구축하는 데에도 합성 데이터가 필요하지만 실제 데이터를 수집하기는 어렵다고 설명했다. 예를 들어 '누군가가 술에 취해 경계선에 너무 가까이 다가가는 경우'와 같이 사람이 기차역에서 다치는 것을 방지하기 위해 AI 시스템을 훈련하기 위한 데이터가 필요하다.

마인드테크는 특정 제품에 대한 고객의 관심을 추적하고, 매장 선반의 재고를 추적하거나, 주차장의 교통 흐름을 예측하는데 사용하기 위해 특별히 설계된 이미지 데이터 패키지를 공개했다. 또한 코로나 바이러스 확산 초기에는 AI가 마스크 착용을 모니터링하도록 훈련시키기 위한 합성 데이터를 생성하기도 했다.

얼굴 표정 데이터로 회의 지루함과 운전자 주의 산만 감지를 위한 데이터 합성

합성 데이터는 대시보드 카메라를 통해 운전자 이미지를 캡처해 졸음이나 주의 산만을 감지하는 운전자 모니터링 시스템용 AI 모델을 훈련할 수 있다. 예를 들어 신테시스 AI는 사람들의 감정과 상태를 실시간으로 추정해 운전자의 주의 산만함이나 분노와 같은 행동을 감지하기 위한 합성 안면 데이터를 제공한다.

베자디 CEO는 "합성 데이터가 사망자를 줄이고 전반적인 안전성을 개선하는 데 긍정적인 효과를 줄 수 있다고 믿는다"고 주장했다. 운전자 행동을 평가하기 위한 AI 시스템은 앞으로 더 보편화될 것이다. 유럽연합 집행위원회는 올해 신차에 주의 산만 및 졸음 인식 기능을 의무화했고 미국에서는 올해 운전자 주의 산만을 최소화하기 위해 기반시설법(Infrastructure Act)을 마련해 운전자 모니터링 시스템의 사용을 연구하는 기금을 모았다.

합성 데이터는 또한 작업장 모니터링을 위한 AI에 연료를 공급하고 있다. 데이터젠은 사무실, 회의 및 회의 기술에 사용할 주석(label)이 달린 초당 30프레임 이미지 데이터를 구축할 수 있다. 이 데이터는 회의 중에 누군가가 지루한지 여부를 감지하는 AI를 훈련시키는 데 사용될 수 있다. 예를 들어 사람이 손에 머리를 잡고 있는 모습을 보여주는 이미지 데이터가 포함된다.

운전자 행동 분석과 관련된 작업에 대해 레이블이 달린 고품질의 시각적 데이터를 제공한다.(사진=데이터젠)사람의 감정 상태를 평가하기 위한 AI 기능은 이미 가상 강의실 플랫폼 과 화상 회의 소프트웨어에 나타나고 있지만 이러한 시스템을 훈련하는 데 합성 데이터가 아직 많이 사용되지는 않고 있다.

이러한 소프트웨어들은 일반적으로 모든 사람들이 동일한 얼굴 표정, 음성 패턴 및 신체 언어를 사용한다고 가정한다. AI가 사람들이 도로에 주의를 기울이고 있는지 아니면 회의 중에 주의를 기울이고 있는지 파악하려면 종종 얼굴 표정을 인식해야 한다. 신테시스 AI의 데이터 세트에는 150가지 얼굴의 '미세 움직임'을 표현하는 수백만 개의 이미지가 포함되어 있다. 또한 다양한 피부색, 머리 스타일 또는 모자나 안경과 같은 특징을 가진 수천 개의 얼굴 이미지를 추가로 생성할 수 있다.

신테시스 AI는 증강현실(AR) 환경에서 사용할 데이터를 만드는 경우 조명에 따른 여러 버전의 사람 또는 사물 이미지(예: 책상 위의 커피 한 잔)를 생성해 이미지를 사실적으로 렌더링할 수 있게 한다.

윤리적 의미에서 한 단계 진전한 합성 데이터

합성 데이터를 사용해 연령대와 민족에 걸쳐 사람들을 나타내는 데이터 세트의 다양성을 증가시킬 수 있다. 단순히 여러 문화권에 걸쳐 얼굴 이미지가 많다는 것만으로는 사람들이 어떻게 보이는지를 학습해야하는 AI를 훈련시키기에 충분하지 않다. 모자를 쓰고 있거나 잠자고 있거나 조명이 밝거나 어두운 다양한 환경에서 달리 보일 수 있기 때문이다. 이와 같이 확장된 실제 데이터를 수집하는 것은 복잡하고 어렵고 많은 비용이 든다.

반면 다양성이 확보된 합성 데이터는 논란의 여지가 있는 AI를 구축하는 데 사용될 수 있다. 감정 AI의 합법성은 인간도 기계도 얼굴 표정을 기반으로 사람의 감정을 정확하게 감지할 수 없다는 점에서 의문시된다. 일반적으로 많은 사람들은 사람들의 표정이나 걷거나 말하는 방식을 모니터링하는 AI 시스템이 불필요한 감시를 지속하고 사람들을 부당하게 처벌하는 데 사용될 수 있다고 믿는다.

또한 합성 데이터 공급자는 자신의 데이터를 사용해 제품을 만드는 제조사에게 라벨링을 맡김으로써 합성 데이터의 편향성을 완화시킬수 있다.

합성 데이터는 자동으로 생성되기 때문에 AI 모델이 학습하는 데 필요한 이미지와 비디오가 나타내는 세부 정보를 포함해 기본적인 메타데이터와 함께 제공된다. 데이터젠은 '약간 미소' 또는 '매우 행복함'과 같은 표정의 강도를 나타내는 레이블을 데이터에 포함하지만 고객이 직접 사용자 정의 레이블을 추가할 수도 있다.

신테시스 AI는 얼굴 표정을 혼란스럽거나 지루한 것으로 분류하는 레이블을 제공하는 대신 얼굴 이미지에 기술 정보만 레이블로 추가한다. 예를 들어 이미지 레이블에는 입의 왼쪽이 10도 위로 이동했음을 나타내는 메타데이터가 포함될 수 있지만 '약간 행복함'으로 레이블을 미리 지정하지 않는다.

마인드테크도 또한 라벨링을 고객에게 맡긴다. 마인드테크의 제품 관리 부사장인 크리스 롱스테프(Chris Longstaff)는 "우리는 얼굴 표정이 매우 주관적임을 이해하므로 고객이 라벨을 어떻게 사용할 것인지 결정하도록 했다"며 "고객 기밀로 인해 마인드테크는 데이터로 구축된 제품의 세부 사항을 알 수 없다"고 덧붙였다.

새로운 가상 환경을 위해 구축된 모든 종류의 AI의 기반을 형성하므로 가까운 장래에 더 많은 합성 데이터 생성이 예상된다. 특히 합성 데이터는 메타버스를 위한 탁월한 도구가 될 가능성이 있다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사]"무엇이든 물어봐"...딥마인드, 소량의 데이터 만으로 학습하는 시각 언어 모델 공개

[관련기사]"인간 닮은 AI, 편견도 닮아"…편향 부추기는 AI

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>