광시야각으로 축구중계 보고 AI가 자동으로 자막 만든다

019년 10월 VRExpo에서 전시한 8K VR 실시간 실황중계 시연 화면. 한국전자통신연구원 제공

[파이낸셜뉴스] 국내 연구진이 개발한 기술을 통해 해외에서 펼쳐진 축구 경기를 넓은 시야각과 초고화질로 중계를 볼 수 있으며 해외의 TV토론을 360도까지 볼수 있는 가상현실(VR) 영상 콘텐츠까지 만들수 있게 됐다. 이 기술을 통해 대륙을 넘어 초실감 영상 서비스를 실시간으로 제공할 수 있는 길이 열렸다.

한국전자통신연구원(ETRI)은 8K급 360도 가상현실(VR), 울트라와이드비전(UWV) 등 초고화질 실감영상 실황중계 기술을 개발하고 네덜란드 암스테르담과 대한민국 대전을 잇는 실시간 중계 시험에 성공했다고 4일 밝혔다.

연구진은 여기에 인공지능(AI)을 이용해 자동으로 대화 내용을 자막으로 만들고 패널의 감정을 분석해 이모티콘으로 표현하는 융합기술까지 더했다.

연구진은 "콘텐츠 생성부터 음성, 감정인식 등 새로운 콘텐츠를 만들고 네덜란드, 벨기에 등과 국제공동연구를 통해 우리의 방송 및 네트워크 기술에 신뢰를 주는 성과를 내 큰 의미가 있다"고 말했다.

현재 방송국, 서비스 제공자들과 기술 이전을 협의 중이다. 이를 통해 스포츠 이벤트 실황 중계 뿐 아니라 음악 콘서트 등 다양한 콘텐츠 분야로 기술이 활용될 전망이다.

산업통상자원부, 과학기술정보통신부, 한국과학기술정보연구원 등 유관기관들의 협조를 받아 지난해 9월 네덜란드에서 펼쳐진 네덜란드-페루 국가대표팀 친선 축구 경기에서 기술 실증을 거쳤다. 올해 4월에는 벨기에 브뤼셀에서 진행된 방송 토론 프로그램 현장에 360도 VR 서비스를 적용했다. 시청자는 360도 전 방향에서 토론에 참여한 패널의 모습을 선택해 볼 수 있다.

연구원이 개발한 기술은 차별화된 미디어 경험을 제공하는 것을 목표로 인간이 인지 가능한 시야각 범위인 100~110도 각도에 최적화된 영상을 만드는 기술이다. 이 기술은 초고선명(UHD) 초고화질을 유지하면서 최대 시야각과 비슷한 UWV 영상, 180~360도까지 볼 수 있는 VR영상 콘텐츠를 만들 수 있다. 체험자는 HMD와 같은 단말을 사용하거나 대화면 스크린을 통해 현장감과 몰입감이 극대화된 체감이 가능하다.

암스테르담 요한크루이프 아레나 경기장에서 ETRI 연구원이 국제협력기관과 함께 시스템을 설치하고 시험하는 장면. 한국전자통신연구원 제공

핵심 기술은 '실시간 모니터링 및 생성기술'이다. 본 기술을 활용하면 여러 대의 초고화질 카메라로 찍은 영상을 하나로 붙여 마치 한 대의 카메라로 촬영한 것처럼 자연스럽고도 시야각이 넓은 초실감 영상을 만들어 낸다. 기존에는 대용량 영상정보를 하나로 합치면 부자연스럽게 나타나거나 전송에 문제가 나타났다. 연구진은 실시간 기하 정보 처리를 통해 문제를 해결하며 초실감 영상 통신의 길을 열었다고 설명했다.

ETRI 이현우 미디어연구본부장은 "세계 최초로 초고화질 UWV 영상 실황을 중계하는데 성공했다. 향후에도 차세대 미디어 서비스를 개척할 기술을 개발하기 위해 끊임없이 노력하겠다"고 밝혔다.

향후 연구진은 5G 및 클라우드 인프라를 이용해 AR, VR 등 초실감 영상을 스트리밍을 통해 이용할 수 있는 서비스를 구현하기 위한 후속 연구를 진행하는 동시에 MPEG 국제표준화 노력을 병행할 예정이다.

한편 연구진의 기술은 내년 네덜란드에서 펼쳐지는 유럽 최대 음악 경연대회인 '유로비전 송 콘테스트'에도 적용될 예정이다. 네덜란드 로테르담에서 펼쳐지는 경연을 연구진의 기술로 촬영하고 이를 암스테르담, 헤이그 등 유럽 주요 도시에 위치한 전용 극장으로 보내 초실감 광시야각 영상을 통해 로테르담의 현장감을 느끼게 한다는 계획이다.

monarch@fnnews.com 김만기 기자

※ 저작권자 ⓒ 파이낸셜뉴스. 무단 전재-재배포 금지