전기전자/정보통신

Nikkei Electronics_2022.8 Hot News (18~19)

NHK기술연구소, 3D 공간정보수집 촬영스튜디오 설치
로봇 카메라로 저비용화, 표면의 질감도 수집해 CG 작업 시 변경 가능

NHK방송기술연구소는 피사체의 주위를 둘러싸도록 다수의 카메라를 배치해 3차원 공간의 정보를 수집하고 이를 통해 리얼한 질감을 가진 3D CG(컴퓨터 그래픽스)를 생성하는 볼륨캡처(Volume Capture) 기술을 독자적으로 개발. 이 기술을 활용한 촬영 시설 ‘메타 스튜디오’를 NHK방송기술연구소 내에 설치했다.

볼륨캡처 기술을 활용한 촬영 스튜디오는 최근 몇 년 간 캐논, 소니그룹, 소프트뱅크, NTT도코모 등도 국내에서 잇따라 개설하고 있다. NHK방송기술연구소의 개발 담당자는 “전국의 방송국 스튜디오에 설치하는 것을 염두에 두고 개발을 진행하고 있으며, 3년 안에 영상 제작에 활용할 수 있도록 하겠다”라고 말한다.

예를 들면, 볼륨캡처 기술로 배우 등의 리얼한 3D CG를 일단 제작해두면, 가상 공간에서 공동 출연시키거나 일반 카메라로는 어려운 카메라 작업을 실현하는 등, 다양한 연출이 가능해진다.

-- 피사체로부터 질감 정보 수집 --
NHK방송기술연구소가 개발한 이번 스튜디오는 4K 카메라가 각각 100대, 80대 이상이 배치되어 있으며, 촬영 공간도 넓은 캐논이나 소니그룹의 하이엔드 스튜디오에 비해 저비용화를 의식해서 만든 것이다.

구체적으로는 그린 스크린의 돔형 공간 안에 직경 5m, 높이 1m의 스테이지를 마련. 촬영 범위는 한 변이 2.5m(캐논은 8m). 4K카메라는 26대(해상도 3,840×2,160화소, 60프레임/초)로, 가장 큰 특징은 26대 중 24대에 로봇카메라를 도입한 점이다.

2대의 고정 카메라 영상에서 AI(인공지능)로 피사체를 검출하고 그 정보를 바탕으로 로봇 카메라가 피사체의 움직임을 쫓는 시스템으로, 고정 카메라의 대수를 줄여도 비교적 광범위한 캡처가 가능하다고 한다. 카메라 대수를 줄일 수 있게 되면 3D CG 렌더링에 필요한 컴퓨터 자원도 줄일 수 있다.

또 하나의 특징은 피사체의 영상으로부터 ‘서피스 라이트필드(Surface Lightfield)’라고 불리는 표면으로부터의 광선 정보나 반사율 등 질감에 관한 정보를 수집한다는 점이다. 이를 통해 피사체의 3D CG의 질감을 높이거나 자유자재로 변경하는 것이 가능하다.

재현한 영상에 생긴 오차나 결손을 AI로 보정해 품질을 개선하는 기능도 가지고 있다. 일반적으로 볼륨캡처로 생성한 3D CG는 영상의 질이 낮기 때문에 영상 작품에서 얼굴을 클로즈업할 수 없다는 단점이 지적되고 있지만, NHK방송기술연구소에서는 “우선은 HD 품질 레벨을 실현하는 것을 목표로 하고 있다”(개발담당자)라고 한다.

하지만, NHK방송기술연구소가 개발한 이번 기술은 현시점에서 아직 ‘알고리즘의 검증 단계’(개발 담당자)로, 향후 스튜디오에서의 실용화를 목표로 다양한 대응을 추진해나갈 필요가 있다고 한다.

예를 들어, 현재는 타사와 같이 하이엔드 GPU를 탑재한 다수의 서버로 3D CG 렌더링을 하는 것이 아니라, 일반 PC로만 생성하고 있다. 또한 로봇카메라의 효과 검증도 향후 실시될 예정이라고 한다.

 -- 끝 --

Copyright © 2020 [Nikkei Electronics] / Nikkei Business Publications, Inc. All rights reserved.