AI/로봇·드론/VR·AR

Nikkei Electronics_2022.2 특집 요약 (p26~61)

초(超)공간 영상 기술
메타버스가 가져온 새로운 표현

최근 전세계 기업들이 돌연 강화에 나서고 있는 인터넷 상의 가상공간 "메타버스". 그 발전의 열쇠를 쥐고 있는 것이 현실세계를 가상공간에 투영하기 위한 영상기술이다. 이것은 영상기술 진화의 주축이 지금까지의 해상도를 중심으로 한 고품질화에서 3차원 공간에서의 몰입감을 제공하는 ‘이머시브 미디어(Immersive media, 몰입형 매체)’로 이동하는 것을 의미한다.

Part 1. 총론
현실과 가상의 융합 시동, 이머시브 미디어 활용이 열쇠로

“현실 세계와 가상 공간을 융합해 전세계 팬들이 팀을 가깝게 느낄 수 있는 매력적인 콘텐츠 개발 및 새로운 팬 커뮤니티 실현을 위한 실증실험을 실시한다”(소니 그룹).

소니와 영국 프로축구의 강호, 맨체스터 시티(Manchester City Football Club)는 2021년 11월 30일, 차세대 온라인 팬 커뮤니티 실현과 팬 인게이지먼트의 최대화를 목표로 제휴를 체결했다고 발표했다. 이것은 최근 주목 받고 있는 ‘메타버스’에 대한 소니의 새로운 대응 중 하나이다.

구체적으로는 해당 클럽의 홈 스타디움을 메타버스 상에 리얼하게 재현해, 전세계 팬들이 자신의 아바타를 통해 교류할 수 있고, 인게이지먼트를 높이기 위한 서비스를 이용할 수 있다고 한다. 이번 실증실험에서 가장 주목해야 할 점은 소니가 지금까지 실제 프로 스포츠 현장에 제공해온 트래킹 시스템 등의 기술을 활용한다는 것이다. 이러한 ‘리얼 가치’를 가상공간에 투영해 커뮤니티나 비즈니스를 확대해 가는 것을 목표로 하고 있다.

-- 키워드는 리얼리티 --
메타버스는 인터넷의 새로운 챕터이다---. 페이스북의 공동 창업자이자 CEO인 저커버그는 2021년 10월 28일, 회사명을 ‘메타(정식 회사명은 Meta Platforms)’로 변경하고, 메타버스에 자원을 집중할 것을 밝혔다. 이 외에도 마이크로소프트와 엔비디아(NVIDIA) 등이 메타버스 관련 사업을 강화, 디즈니 등이 참가를 표명하는 등, 전세계적으로 메타버스에 대한 투자 및 개발 움직임이 활발해지고 있다.

한편, 이와 같은 움직임에 대해 2006~2007년경 비즈니스 업계에서 일시적으로 뜨거웠던 가상공간 ‘세컨드 라이프’(린든랩)와 같은 것이 아닌가라는 냉랭한 견해도 있다. 메타버스 시장이 얼마나 커질지는 아직 불투명하지만, 당시와의 결정적인 차이가 두 가지 있다.

하나는 기술의 진화로 현실 세계와의 경계가 희미해져 ‘실제 가치’를 가상공간에 투영할 수 있게 된 점이다. 예를 들면, 최근에는 실제 거리를 디지털화해 가상공간에 ‘디지털 트윈’을 구축, 스마트폰으로도 액세스 할 수 있게 되었다. 2007년은 제1세대 아이폰이 출시된 해로, 그 전에는 지금처럼 누구나 손쉽게 가상공간에 접속할 수 있는 환경은 없었다.

다른 하나는, 코로나19로 인해 ‘Zoom’ 등의 온라인 회의가 비주류적인 존재에서 단번에 업무에 불가결한 툴이 된 것처럼, 원격 커뮤니케이션이나 공동 작업이 당연한 존재가 되었다. 일반인에게 메타버스 이용의 문턱이 크게 낮아진 것이다. 이와 같은 기술의 진화와 환경의 큰 변화가 메타버스 추진 움직임이 급증하는 요인이 되고 있다.

-- 영상 기술로 새로운 체험 제공 --
메타버스에 ‘현실 세계의 리얼’을 투영하기 위한 열쇠가 되는 것이 영상기술이다. 이와 동시에 메타버스의 기술 혁신이야말로 영상의 새로운 진화의 축이 될 것이다. 구체적으로는 메타버스의 3차원 공간을 위한 몰입형 고도의 실감 미디어, 이른바 ‘이머시브 미디어’이다.

영상기술은 지금까지 2차원의 고품질화, 특히 풀 HD에서 4K, 8K라고 하는 해상도를 중심으로 진화해 왔다. 2018년 12월에는 4K, 8K의 위성방송도 개시되었다. 풀HD의 16배의 해상도를 가진 8K의 경우, 화소 구조가 사람의 눈으로 판별할 수 없을 정도로 정밀도가 높아, 어떤 의미에서는 도달할 수 있는 단계까지 이르렀다고 할 수 있다.

반면, 이머시브 미디어는 지금까지 비주류였다. 물론 자신을 중심으로 주위를 둘러볼 수 있는 360도 영상이나, 시점을 고정하지 않고 자유롭게 주위를 둘러볼 수 있는 VR(가상현실)의 고글용 영상 등은 애호가 사이에서는 보급되었지만, 일반인이 일상적으로 볼 수 있는 것은 아니었다.

그러나 앞으로 이머시브 미디어는 우리에게 보다 친밀한 존재가 될 것이다. 그것을 상징하는 움직임이 바로 ISO/IEC(국제표준화기구/국제전기표준회의)에서 멀티미디어의 정보처리기술 표준화를 추진하는 MPEG(Moving Picture Experts Group)가 이머시브 미디어의 표준 규격화를 ‘MPEG-I’이라는 명칭으로 실시하고 있는 것이다.

이머시브 미디어 중에서도 최근 특히 이슈가 되고 있는 것이 실재 인물이나 그 사람의 움직임, 위치 등 공간 전체를 3D데이터로서 전부 CG화하는 ‘볼류메트릭 캡처(Volumetric capture)’ 기술이다. 최근 세계 각지에서 촬영 스튜디오가 개설되고 있으며, 국내에서도 2020년 이후부터 소니 그룹과 캐논, NTT도코모, 소프트뱅크 등이 촬영 스튜디오를 잇따라 개설했다. 아직 여명기의 기술이지만 큰 기대가 모아지고 있다.

“메타버스라고 하면 가상적인 것을 상상하기 쉽지만, 그것은 지금까지 그 공간에 사실적인 것을 투영할 방법이 없었기 때문이다. 볼류메트릭 캡처는 이를 위한 방법으로, 볼류메트릭 캡처가 보급됨에 따라 메타버스가 목표로 하는 가상공간과 현실 세계의 융합에 가까워져 갈 것이다”(소프트뱅크 스튜디오를 운영하는 가쓰모토(勝本) 리얼라이즈·모바일·커뮤니케이션 이사).

또 한 가지, 코로나19 사태 속에서 영상의 새로운 제작 기술로서 세계적으로 주목을 끌고 있는 것이 ‘버추얼 프로덕션(Virtual Production)’이다. 영화 스타워즈의 첫 TV 드라마 시리즈인 만달로리안(The Mandalorian) 제작에 사용되면서 널리 알려지게 되었다.

버추얼 프로덕션은 가상공간을 활용한 실시간 영상 제작 기법의 총칭이다. 그 중에서도 최근 주목을 끌고 있는 것이 만다로리안의 촬영에도 사용된 ‘LED 월(대형 LED 디스플레이)을 이용한 인카메라 VFX(Visual Effects, 시각효과)’이다. 이것은 미리 만들어 놓은 배경 CG를 LED 월에 내보내고 그 앞에서 실제로 배우 등이 연기를 하며 촬영하는 방법이다. 이른바 CG와 리얼을 융합하는 기술이다.

이 버추얼 프로덕션의 최대 장점은 촬영에서의 다양한 제약으로부터 현장을 해방시킨다는 점이다. 예를 들면, 최근 코로나19 사태로 인해 실제 로케이션 촬영을 실시할 수 없는 경우도 많지만, 인카메라 VFX를 사용하면 스튜디오 내에서 로케이션과 거의 같은 장면을 촬영할 수 있다. 날씨에 좌우되는 ‘원샷 승부’의 촬영으로부터도 해방되고, 감독이 원하는 이미지를 공유하면서 반복적으로 촬영할 수 있어 재촬영의 리스크나 포스트 프로덕션(후반 작업) 편집의 부담을 줄일 수 있다. 제작비 절감도 기대할 수 있다.

-- 볼류메트릭으로 '스포츠 관람 2.0' --
“2D로 수동적이었던 기존의 스포츠 관람 체험을 3D로 새롭게 변화시키겠다” (미국 Unity Technologies의 마이힐 크리에이티브·디렉터).

실시간으로 3D데이터를 처리할 수 있는 게임엔진 ‘Unity’를 제공하는 Unity Technologies는 2021년 10월, 시청자에게 스포츠 경기 전체를 3D로 스캔 하는 볼류메트릭 캡처 기술을 이용한 콘텐츠 전달 플랫폼 ‘Unity Metacast’를 발표. 뿐만 아니라 해당 플랫폼을 활용한 3D콘텐츠의 연구개발을 위해 세계적으로 인기를 얻고 있는 종합 격투기 단체 UFC와 제휴했다.

시청자들은 전송되는 콘텐츠를 통해 자신이 원하는 각도에서 실시간으로 경기를 볼 수 있어 마치 자신이 옥타곤 무대 위에서 대결하고 있는 것 같이 느껴진다고 한다. “코로나 사태로 가속화된 현실 세계와 가상공간의 융합을 통해 스포츠 관람 시 고도의 퍼스널라이즈, 그리고 게임화된 체험을 제공할 수 있게 되었다”(마이힐 크리에이티브 디렉터).

사실 스포츠 경기를 볼류메트릭 캡처로 촬영해 전달하는 것은 캐논이 2019년의 ‘럭비 월드컵 2019 일본대회’ 등에서 실시했지만, 스포츠 단체와 제휴해 정상적으로 팬 인게이지먼트의 향상 등을 위해 활용한다는 점이 다르다. 앞에서 소개한 소니와 맨체스터시티의 제휴를 포함해, 스포츠 관람이 메타버스와의 융합을 통해 다음의 단계로 발전하는 날도 머지않아 보인다.

-- 리얼한 것을 리얼한 채로 --
볼류메트릭 캡처란 어떤 기술인지 구체적으로 살펴보자. 그림 4의 사진은 소니가 도쿄 도 미나토(港) 구의 본사 내에 2020년 1월에 개설한 촬영 스튜디오이다. 전체 면적 약 100m²인 스튜디오 안에 지름 5m x높이 3m의 캡처 공간이 마련되어 있고 이를 둘러싸듯 4K 카메라가 80대 이상 설치되어 있다.

3D의 CG 모델은 이하의 순서로 제작된다. 우선, 캡처 공간에서 움직이는 사람을 다수의 카메라를 통해 동영상으로 촬영을 한다. 그 다음, 카메라 영상으로부터 3D형상을 나타내는 모델(폴리곤 메쉬)을 생성하고, 그것에 카메라 화상을 붙여 고품위화의 데이터 처리를 한다.

볼류메트릭 캡처는 인물의 전신을 CG화하기 때문에 머리 위나 발 밑을 포함해 모든 시점에서 그 모델을 볼 수 있다. 실재 인물이나 그 사람의 움직임을 일단 CG화해놓으면, 나머지는 메타버스에 그 사람을 전사하거나 배경 CG를 합성해 영상 작품으로 완성할 수 있는 등 여러 가지 사용 방법이 있다. 특히 중요한 것은 옷감의 하늘거리는 느낌부터 얼굴의 음영이나 주름까지 “리얼한 것을 리얼한 채로 가상공간에 투영하는 것이 볼류메트릭 캡처이다.

CG가 리얼에 최대한 가까이 가면 자주 ‘불쾌한 골짜기’가 지적되지만, 볼류메트릭 영상은 그 골짜기를 넘어서고 있다”(소니 그룹의 고마쓰(小松) 사업개발 플랫폼신규사업 추진부 통괄 부장). 또한, 리얼한 CG 모델링에는 상당한 인력과 시간, 코스트가 소요되지만, 볼류메트릭 캡처의 경우 매우 짧은 시간에 만들 수 있다.

또 한 가지, CG와의 비교에서 잊지 말아야 할 것은 리얼하지 않으면 안 되는 콘텐츠가 분명히 존재한다는 점이다. 아티스트나 운동선수, 그리고 자신의 아이나 친구 등, 콘텐츠를 이용하는 사람에게 리얼과 같다는 것에 의미가 있는 것을 메타버스의 세계에서 재현하는 것이 볼류메트릭 캡처이다.

이 기술을 사용한 더블더치(두 개의 줄을 사용해 뛰는 줄넘기 스포츠)의 영상 작품 제작에 참여한 스튜디오브로스 영상개발부의 다무라(田村) 리얼타임 3DCG 디렉터는 “지금 우리는 역동적인 변화의 입구에 있다. 볼류메트릭 캡처를 통해 3D이면서 시간 축을 수반하는 영상을 간단하게 기록할 수 있게 됨으로써 향후, 인간의 체험의 질이나 생각을 바꿔나갈 가능성이 있다”라고 말한다.

-- 2025년에 58억 달러 시장으로 성장 예측도 --
볼류메트릭 캡처는 4K 등 고화질 카메라 수십 대 이상으로 촬영한 동영상을 실시간으로 처리하는 기술이다. 아이디어 자체는 특별히 새로운 것은 아니지만, 컴퓨팅, GPU, 화상처리 등의 기술이 진화되면서 최근에 와서야 본격적인 실용 국면을 맞이했다. 하지만, “이제 겨우 시청할 수 있는 수준”(소니의 고마쓰 부장)의 단계에 불과해, 향후 보급을 위해서는 코스트를 포함해 개선해야 할 과제들도 많다.

그럼에도 앞으로 이 기술을 활용한 다양한 애플리케이션이 등장할 것이라는 것에는 의심의 여지가 없다. 예를 들면 NHK 방송기술연구소는 2021년 6월에 온라인 개최한 ‘기연(技硏) 공개 2021’에서 볼류메트릭 영상을 활용한 대응을 몇몇 소개했다. 그 중 하나가 3D공간에 있어서의 볼류메트릭 영상의 위치, 방향, 크기, 주위를 둘러싼 360도 영상을 ‘씬 기술(記述)’이라고 부르는 기술 언어를 이용해 지정하는 기술이다. 언제 어디서나 수족관의 수조 안에 들어가 복어나 가시복을 자유롭게 관찰할 수 있는 체험을 실현할 수 있다.

한편, 그림 7(b)는 TV프로그램과 연동하는 증강현실 기술로, 프로그램 내에서 춤추고 있는 댄서를 볼류메트릭 캡쳐로 촬영하면 태블릿의 AR 앱을 통해 댄서에 접근하거나 등쪽에서 춤을 볼 수 있는 등, 실제 공간에 있는 것과 같은 체험을 할 수 있다. 2D TV로는 경험할 수 없는 3D만의 몰입감을 제공한다.

시장 조사회사인 인도의 Markets and Markets의 예측에 따르면, 볼류메트릭 영상의 세계 시장 규모는 2020년에 14억 달러(추정치)였지만, 2025년에는 58억 달러까지 확대될 것이라고 한다.

-- 국내 첫 상설 거점 탄생 --
소니 PCL은 2021년 10월, 국내 최초의 버추얼 프로덕션 상설 거점이 되는 스튜디오 ‘기요스미시라카와(清澄白河) BASE’(도쿄)를2021년 내에 개설한다고 발표했다. 소니의 LED 디스플레이 ‘Crystal LED’를 도입해 인카메라 VFX로 촬영한다.

소니 PCL은 2021년 4월부터 국내 최대 규모의 촬영 스튜디오인 ‘도호(東宝) 스튜디오’(도쿄)에 8K·440 인치의 Crystal LED등을 기간 한정으로 설치해 버추얼 프로덕션에 대한 연구개발을 실시, CM나 영화 등의 촬영도 실시해 왔다.

LED 월을 사용한 인카메라 VFX의 촬영 순서는 이하와 같다.
1. LED 월에 디스플레이하는 입체적인 공간 데이터(배경 데이터)를 미리 게임엔진으로 제작.
2. 촬영에 사용하는 카메라의 위치 정보와 연동한 배경을 게임엔진으로 실시간 렌더링. 3. 그것을 LED 월에 디스플레이. 4. LED 월의 촬영 전에 인물이나 자동차 등 실재 피사체를 배치해 카메라로 촬영한다.

LED 월을 배경으로 스튜디오에서 촬영한 영상을 마치 현지에서 촬영한 것처럼 보이려면 카메라의 움직임에 맞춰 배경 데이터를 움직여야 한다. 이 때문에 카메라의 위치 정보 등을 센서로 트래킹하고, 그 움직임에 맞추어 게임엔진이 실시간으로 렌더링을 해 LED 월에 배경을 디스플레이한다.

리얼함을 최대화하기 위해서는 피치가 1.2mm의 고정밀·고휘도 LED 디스플레이, 하이엔드 GPU, 실시간으로 배경CG를 재구축하는 게임엔진 등의 기술이 중요하다.

Part 2. 볼류메트릭 캡처
당신의 몸을 메타버스에 전사, 스마트폰으로 스캔하는 시대 온다

실재 인물이나 그 사람의 움직임, 위치 등 공간 전체를 3차원(3D) 데이터로 캡처하는 '볼류메트릭 캡처' 기술에 대한 투자 및 개발이 최근 활발해지고 있다. 아직 발전 과정에 있는 기술이지만, ‘메타버스’의 세계에 리얼을 투영하는 유력 기술의 하나로서 크게 기대되고 있다. 그 기술 및 서비스의 현황, 과제 해결을 위한 기술개발, 미래의 전망에 대해 소개한다.

Part 3. 가상 프로덕션
LED 월과 게임엔진으로, 로케이션이 필요 없는 영상 제작 가능

대형 마이크로 LED 디스플레이와 게임엔진의 활용으로 영상 제작이 크게 변화하고 있다. 연기자 뒤에 LED 디스플레이를 배치해 배경으로 CG 영상이나 자유 시점의 실사 영상을 내보내며 촬영하는 ‘버추얼 프로덕션’은 크리에이터를 시간과 장소의 제약으로부터 해방시킨다. 가공의 세계와도 일체가 될 수 있는 리얼과 버추얼의 융합 가능성도 내포하고 있다.

Part 4. 3차원 영상 전송/재생 기술
NHK 기술연구소가 추진하는 몰입형 고임장감 미디어 기술

NHK방송기술연구소에서는 3차원 공간에서의 정보처리를 구사한 몰입형의 고임장감 미디어를 제공하는 기술을 연구개발하고 있다. TV방식연구부의 아오키(青木) 주임연구원이 이 기술의 상세한 내용과 ISO/IEC의 분과회인 MPEG가 추진하고 있는 관련 기술의 표준화 동향에 대해 소개한다.

 -- 끝 --