엔비디아, 실사 영상의 조명·거리·재질까지 수정 가능한 렌더링 모델 공개

[박찬 기자]

엔비디아가 단순한 인공지능(AI) 영상 생성을 넘어, 영상 내 구성 요소들의 조명과 거리, 재질 등을 현실적으로 수정할 수 있는 혁신적인 모델을 선보였다. 영상 콘텐츠 제작의 새로운 가능성을 열 수 있다는 평이다.

엔비디아는 10일(현지시간) 기존 영상의 한정적인 데이터를 바탕으로도 조명을 변경하고 질감을 변경하고 가상의 객체 삽입이 가능한 차세대 신경 렌더링 모델 '디퓨전렌더러(DiffusionRenderer)'에 관한 논문을 아카이브에 게재했다.

토론토대학교, 벡터연구소, UIUC와의 공동 연구를 통해 개발한 이 모델은 게임 제작 등 가상 환경 구축을 위해 사용하는 전통적인 물리 기반 렌더링(PBR)의 한계를 넘는다는 것이 특징이다.

PBR 기법은 고품질의 광학 효과를 재현하는 데 탁월하다. 하지만, 정확한 3D 위치 데이터와 조명 조건, 개체의 재질 정보 등이 요구된다. 따라서 실사 영상에 포함된 데이터를 정확하게 파악하는 것은 사실상 불가능하다.

반면, 엔비디아의 디퓨전렌더러는 영상 확산 모델(video diffusion model)을 기반으로 이런 문제를 신경망으로 해결한다. 즉, 3D 랜더링에 생성 AI 기술을 결합한 형태다.

역방향 렌더러(Inverse Renderer) 순방향 렌더러(Forward Renderer) 등으로 구성, 현실 세계의 정보를 최대한 정확하게 파악하고 이를 재구축할 수 있다는 것이 핵심이다. 이를 통해 게임과 같은 디지털 영상은 물론, 실사 영상까지 정교한 편집과 생성이 가능해진다.

우선, 역방향 렌더러는 일반 영상을 보고 장면 속 숨겨진 정보(G-buffer)를 찾아낸다. 사물의 방향과 거리(depth), 색깔이나 재질 등을 분석해 정리한다. 이 정보들은 따로 계산되고 저장된다.

순방향 렌더러는 이런 정보를 바탕으로 변경된 조건을 적용, 진짜처럼 보이는 이미지를 다시 만들어낸다. 그림자나 반사, 빛의 상호작용 같은 복잡한 효과도 자연스럽게 표현할 수 있다.

두 렌더러는 서로의 약점을 보완하도록 설계됐다. 역방향 렌더러가 추정한 데이터가 일부 부정확해도, 순방향 렌더러는 이를 보정해 현실감 있는 결과를 출력한다.

모델 성능을 극대화하기 위해 연구진은 합성 데이터(영상 15만개) 현실 세계 영상(영상 1만510개) 등을 활용했다.

합성 데이터는 고해상도의 3D 객체, HDR 조명, 그리고 사실적인 재질(PBR)을 조합해 만든 학습용 영상으로, 정확한 정답 정보(GT)를 함께 제공한다.

현실 세계 영상에는 이런 정답 정보가 없기 때문에, 연구진은 합성 데이터를 학습한 역방향 렌더러로 현실 영상에서도 정보(G-buffer)를 자동으로 생성했다. 이렇게 만들어진 데이터는 완벽하지는 않지만 실제에 가까우며, 순방향 렌더러가 작동하는 기반이 된다.

연구진은 이처럼 합성 데이터와 자동 라벨링한 현실 데이터를 동시에 학습, 두 데이터 사이의 격차를 줄였다.

또 LoRA(저순위 적응) 기법을 적용해 현실 데이터의 노이즈에도 잘 적응할 수 있도록 모델을 조정했다. 이를 통해 이상적인 데이터와 실제 환경 사이의 차이를 효과적으로 극복할 수 있었다고 전했다.

순방향 렌더링에서는 여러 객체가 등장하는 복잡한 장면에서도 그림자, 반사, 상호 반사 같은 광학 효과를 정확하게 재현했다.

역방향 렌더링 성능도 뛰어났다. 장면의 재질, 알베도, 표면 법선 등을 더 정확하게 추정하며, 영상 기반 학습을 통해 시점이 바뀔 때의 정보까지 잘 활용했다는 설명이다.

재조명에서는 기존 방법보다 뛰어난 품질을 제공하며, 반짝이는 반사(스펙큘러)나 입체적인 조명 효과 구현에 강점을 보였다.

이처럼 디퓨전렌더러는 기존의 제한적인 물리 기반 렌더링을 넘어, 창작자가 원하는 대로 영상을 이해하고, 수정하고, 재생성하는 통합 워크플로우를 가능하게 한다는 설명이다. 고가의 장비나 복잡한 데이터 캡처 없이도, 고품질 영상 편집이 누구나 가능한 시대를 열 수 있다는 평을 받고 있다.

현재 이 모델은 깃허브에 공개되어 있어, 누구나 자유롭게 사용할 수 있다.

박찬 기자 cpark@aitimes.com

<저작권자 Copyright ⓒ AI타임스 무단전재 및 재배포 금지>