일본산업뉴스요약

Nikkei X-TECH_2021.12.23

메타버스로 영상 혁명
당신의 몸을 메타버스에 반입
소니, 캐논, 소프트뱅크 등 전용 스튜디오 개설

실제 인물이나 사람의 움직임, 위치 등 공간 전체를 3차원(3D) 데이터로 통째로 캡처하는 '볼류메트릭 캡처(Volumetric Capture)' 기술에 대한 투자 및 개발이 활발해지고 있다. 아직 발전 도중에 있는 기술이지만 ‘메타버스’의 세계에 ‘리얼’을 반입하는 유력 기술의 하나로서 기대는 크다. 국내에서도 계속해서 개설되고 있는 촬영 스튜디오 등의 취재를 바탕으로, 기술이나 서비스의 현황, 과제 해결을 위한 기술 개발, 장래 전망을 소개한다.

“XR(Extended Reality, 확장현실)로 패러다임이 이행하는데 있어서 3D 콘텐츠의 중심이며, 미래 부가가치의 원천이 된다”. NTT도코모 비즈니스크리에이션부 XR추진실의 이와무라(岩村) 실장은 볼류메트릭 영상에 대한 기대를 이렇게 표현한다. XR은 현실세계와 가상세계를 융합하는 VR(가상현실), AR(증강현실), MR(복합현실)과 같은 기술을 총칭하는 말이다.

NTT도코모는 21년 1월, 볼류메트릭 영상을 포함한 XR 콘텐츠 제작 스튜디오 ‘docomo XR Studio’를 가동하기 시작했다. 20년에는 소니 그룹과 캐논, 소프트뱅크도 잇달아 전용 스튜디오를 만들었다.

볼류메트릭 캡처 기술 자체는 이전부터 있었다. 그런데 왜 지금 시점에서 전용 스튜디오 개설이 집중되고 있을까? 소니 그룹 사업개발플랫폼 신규사업화 추진부의 고마쓰(小松) 부장은 “컴퓨팅이나 GPU 등의 기술이 진화하면서 시청 가능한 수준의 품질이 되었다”라고 분석한다.

모든 스튜디오에서 촬영 공간(캡처 공간) 주위에 카메라를 수십 대 이상 배치해 피사체를 동영상으로 촬영하고, 리얼한 3D CG(컴퓨터 그래픽스) 모델을 단시간에 제작한다. 촬영 대상을 그 움직임까지 포함해 통째로 캡처하는 것이다. 완성된 3DCG는 머리 위나 발 밑을 포함해 유저가 좋아하는 시점에서 볼 수 있다. 대상을 복수의 카메라로 동시에 촬영하고, 유저가 보고 싶은 시점에서의 영상만을 전송하는 자유 시점 영상 서비스도 있지만, 그것과는 다르다.

“통상의 CG로는 리얼을 완벽하게 재현하는 것은 어렵다. 예를 들어, 옷의 펄럭임이나 얼굴의 주름 등 세부적인 것을 재현하려면 막대한 비용과 노력이 든다. 볼류메트릭 캡처는 있는 그대로를 곧바로 3D 모델화할 수 있다”(고마쓰 부장)

이 때문에 영상 크리에이터는 지금까지 없었던 완전히 새로운 작품을 만들 수 있다. 그리고 지금, 세계의 많은 기업이 주목하고 있는 인터넷상의 가상세계 ‘메타버스’에 ‘리얼’을 반입하는 유용한 툴이 된다. “메타버스라고 하면 가상적인 것을 상상하기 쉬운데, 그 이유는 지금까지는 그 공간에 사실적인 것을 투입할 방법이 없었기 때문이다. 볼류메트릭 캡처는 확실히 그것을 위한 수단이다. 이러한 기술이 보급됨으로써 메타버스가 목표로 하는 가상 세계와 리얼 세계의 융합에 근접해간다”(소프트뱅크의 스튜디오를 운영하는 Realize Mobile Communications의 가쓰모토(勝本) 이사).

실제로 볼류메트릭 캡처를 사용한 작품 등을 만드는 영상 크리에이터인, Studio Bros 영상개발부의 다무라(田村) 리얼타임 3DCG 디렉터는 "볼류메트릭 캡처로 3D의 시간축을 수반하는 영상을 기록할 수 있게 된 것은, 향후 인간의 체험의 질이나 생각을 변화시킬 가능성이 있다"라고 볼류메트릭 캡처의 임펙트를 말한다.

-- 자신의 아이를 리얼 CG화 --
무엇보다 이러한 전용 스튜디오는 대규모일 경우 설비 투자에 몇 억엔 이상이 들기 때문에 일반인이 쉽게 이용할 수 있는 것은 아니다. 당분간은 뮤직비디오나 영화∙텔레비전, 유료 AR/VR 서비스용 콘텐츠 제작 등, 주로 프로 사용자로 이용이 한정될 것 같다.

한편 볼류메트릭 영상의 ‘민주화’를 위한 대응도 이미 시작되었다. 예를 들면, KDDI는 21년 3월, 아이가 다양한 직업을 체험할 수 있는 엔터테인먼트 시설 ‘키자니아(Kidzania) 도쿄’에서 볼류메트릭 캡처를 사용한 영상 체험 이벤트를 개최했다. 심도 정보를 얻을 수 있는 마이크로소프트의 카메라 ‘애저 키넥트(Azure Kinect)’를 8대, 원주 위에 등간격으로 배치한 가설 부스를 설치. 그 안에 아이가 들어가 15초의 동영상을 촬영하고, 제작한 3DCG 모델에 배경 CG를 겹친 동영상을 선물하는 기획이다.

물론 영상의 품질은 전용 스튜디오에서 촬영한 것에 비할 바는 못되지만 많은 사람들에게 신선한 체험으로 남을 것이다. 실제로 아이뿐만이 아니라 애완동물을 포함해, 이러한 동영상을 간편하게 제작하고 싶은 요구는 매우 많을 것이다.

NTT도코모도 자사 스튜디오 내에 아이의 3DCG 제작 등을 위한 키오스크형 촬영 장치 ‘Mantis 3iosk’를 도입했다. 설치 면적은 2.57mⅹ2.57m(캡처 공간은 직경0.85mⅹ높이2.05m). 장치에 2.5K(500만 화소) 카메라(25fps)가 32대 설치되어 있어, 실시간 모드의 경우는 몇 분 만에 15초 길이의 3D 동영상을 생성할 수 있다고 한다.

-- 궁극은 스마트폰으로 아바타 --
미래의 ‘누구나 볼류메트릭 영상 시대’를 전망한 대응을 벤처기업이 시작하고 있다. 예를 들면, 미국 Holotch(도쿄)는 볼류메트릭 영상을 간단하게 촬영하고, 초저지연으로 전송해서 스마트폰이나 PC의 Web 브라우저로 볼 수 있는 시스템을 개발하고 있다.

구체적으로는 LiDAR(레이저 스캐너)를 탑재한 iPhone/iPad로 사람의 반신(전면)을 촬영해 전송하는 iOS 앱과, 2대의 애저 키넥트로 전신을 촬영해 전송하는 Windows 앱 제공을 22년 초로 예정하고 있다. 심도 정보를 얻어 동영상에서 인물을 오려냄으로써 볼류메트릭 영상을 생성하는 것이다.

Holotch의 고이케(小池) CEO는 “목표는 누구라도 간단하게 볼류메트릭 영상을 촬영, 체험을 할 수 있는 것이다. AR/VR 고글은 아직 보급되어 있지 않기 때문에 브라우저로 볼 수 있는 것을 고집했다”라고 말한다.

또한 스마트폰으로 촬영한 동영상에서 AI(인공지능)를 사용해 볼류메트릭 영상을 생성하는 대응은 미국 볼로그람스(Volograms) 등 복수의 벤처기업도 전개하고 있다. Volograms의 경우는 정면에서 최대 5초의 동영상을 촬영할 뿐이라고 한다.

물론 이러한 ‘간편 솔루션’으로 제작하는 볼류메트릭 영상을 전용 스튜디오에서 제작하는 것과 비교하면 품질에는 큰 차이가 있다. 그러나 스마트폰이 콤팩트 카메라 시장을 구축해 버린 것처럼, 품질은 그저 그래도 체험이 뛰어나면 유저는 받아들일 가능성이 있다. 향후 하드웨어나 AI의 진화가 가미된다면, 이러한 솔루션이 볼류메트릭 영상 시장에서 주류가 되는 날이 언젠가 올지도 모른다.

“궁극적으로 일반인이 간편하게 볼류메트릭 영상을 찍을 수 있게 되면, 이노베이션이 일어날 것이다. 지금도 2대의 카메라가 있으면 가능하다. 그러나 앞으로는 일단 돌아보았을 때의 등 영상을 AI가 보완하거나 해서 1대로도 생성할 수 있게 될지도 모른다”(NTT도코모의 이와무라 실장).

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.