전기전자/정보통신

NTT기술저널_2017.10. 특집요약 (p6~9)

Beyond 2020
고 현장감 UX 서비스 창출
Ryuji Kubozono 외 4인 / NTT 서비스 에볼루션 연구소 소장

스포츠 관람, 라이브 엔터테인먼트 분야에서는 유저에게 고현장감 체험을 제공하는 서비스 창출에 대한 기대가 높아지고 있다. NTT그룹에서는 통신기술, 미디어 처리기술의 연구개발을 추진하고 있다. 또한, 다양한 콜라보레이션 파트너와 함께 새로운 가치를 창조하기 위해 기술검증 및 시험을 실시하고 있다. 본고에서는 고(高) 현장감 UX(User eXperience) 서비스를 실현하는 요소기술의 진화를 위한 연구개발의 방향성과 지금까지 없었던 고현장감 UX 서비스의 창출을 위한 시도에 대해 소개한다.

■ 미디어 서비스를 둘러싼 상황
가전제품 판매점의 TV 코너에서는 4K TV가 주류가 되었고, 가정용 비디오카메라나 디지털카메라의 고해상도화가 진행되고 있다. 4K TV 방송 서비스가 시작되었을 뿐만 아니라 8K의 시험 방송도 시작되고 있다. 또한 음향시장에서는 High Resolution Audio(HRA)가 시장을 견인하는 등 전세계의 미디어 서비스나 제품은 고정밀화, 고해상도화의 흐름 속에 있다. 이 트렌드는 앞으로도 계속될 것으로 생각된다.

이러한 제품 트렌드와는 별도로, 2016년은 VR 원년이라고도 불리며 게임∙어뮤즈먼트 시장을 중심으로 VR/AR을 이용한 다양한 제품이나 서비스가 등장하고 있다. VR/AR용 전용기기와 함께 스마트폰을 이용한 저렴한 타입의 Head Mounted Display(HMD)와 VR/AR 어플리케이션이 시장에 많고 출시되고 다양한 콘텐츠가 유통되기 시작하였다. 그리고 포켓몬GO가 전세계적으로 큰 인기를 얻으면서 사회문제까지 발생하였다.

한편, 놀이공원이나 영화관에서는 보다 현장감을 느낄 수 있는 시청 환경을 위해 영상의 3D화, 음향의 고음질화, 다채널화가 진행되고 있다. 그리고 MX4D, 4DX로 대표되는 영상과 음향 이외의 요소, 예를 들면 진동, 물보라, 안개, 냄새처럼 시각과 청각 이외의 감각을 자극하는 것을 이용하여 눈 앞에서 상영되는 영상이나 음향과 조합함으로써 더욱 높은 현장감을 제공하는 서비스가 점점 정착하고 있다.

■ 엔터테인먼트 시장을 둘러싼 상황
스포츠 분야에서는 국제대회 일본 팀 시합을 중심으로 경기장에 갈 수 없었던 팬을 위해 스포츠바, 스타디움, 시민회관 등 다양한 형태의 퍼블릭 뷰잉이 개최되고 있다. 많은 사람이 주목하는 시합이나 경기의 경우는 일본에서도 점차 정착되고 있다. 한편, 영화관에서는 영화 상영 사이에 영화 이외의 콘텐츠(ODS: Other Digital Source)를 상영하여 새로운 고객을 모으려는 움직임이 추진되고 있다. 2020년에는 633억 엔(이 중 중계는 318억 엔)의 시장이 형성된다는 예측도 있다. 스포츠의 퍼블릭 뷰잉은 현재로서는 무상으로 개최되는 경우가 많다. 그러나 조금씩 유료도 시작되고 있다. 콘텐츠의 권리 관계가 정리되기 시작하면서 사업화되는 경우도 증가할 것으로 생각된다.

음악 콘텐츠 시장의 경우는 오래 전부터 CD 등의 패키지 판매 시장이 부진하였고, 해외 아티스트를 중심으로 라이브 공연 중심의 활동으로 옮겨가고 있다. 이러한 동향은 유럽과 미국에서 현저하다. 음악은 동영상 사이트나 정액제 음악 스트리밍 서비스를 통해 공개하고 라이브 공연으로 유인하는 형태가 정착하고 있다. 이 흐름은 완성된 패키지 제품으로서의 음악을 즐길 뿐 아니라, 같은 Set List라고 하더라도 한 번의 유일한 체험을 할 수 있는 라이브 공연을 요구하는 팬이 많아졌기 때문이라고 생각한다. 일본에서는 해외와 비교하면 아직 패키지 판매가 비교적 양호한 편이지만 라이브 공연도 지속적으로 증가하고 있다. 일본도 전세계의 큰 트렌드 흐름을 타고 있다고 말할 수 있다.

■ NTT가 목표하는 고현장감 UX 서비스의 세계
NTT에서는 앞에서 말한 시장의 움직임을 살피면서 새로운 시청 체험을 관객에게 제공하는 ‘고현장감 UX 서비스’의 창출을 목표하고 있다. 그 실현을 위한 큰 방향성으로서 다음의 목표를 제시한다. 경기장에서 떨어진 장소에 있는 사람이라도 세계 최강의 스포츠 선수의 파워와 속도를 체감할 수 있는 ‘초고도 현장감 퍼블릭 뷰잉’의 실현, 극장이나 공연장에서 떨어진 곳에 있는 사람도 마찬가지로 전통 예능을 즐길 수 있는 ‘초고도 현장 라이브 뷰잉’의 실현, 라이브 공연 자체로 보다 새로운 체험을 할 수 있는 ‘신감각 라이브 공연’의 실현, 스포츠를 보기 위해 찾아간 스타디움에서 시합 관람뿐 아니라 보다 큰 즐거움을 느낄 수 있는 ‘스타디움 솔루션’의 실현을 목표하고 있다.

-- 초고 현장감 퍼블릭 뷰잉∙라이브 뷰잉 --
‘초고도 현장감 퍼블릭 뷰잉∙라이브 뷰잉’은, 경기장이나 공연장에서 열리고 있는 스포츠 경기나 라이브 공연을 통째로 원격지에 전송하여 원격지에 있으면서 경기장, 공연장의 감동을 공유하는 것을 목표하고 있다. 현재도 큰 국제대회가 열릴 때는 각지의 스타디움에서 큰 화면의 영상을 이용한 퍼블릭 뷰잉이 개최되고 있다. 그러나 고정밀 영상만이 아니라, 마치 중계장소에 선수나 공연자가 나타난 것처럼 표시하는 표시제어 기술이나 관객이 마치 경기장에 들어가 있는 것처럼 느낄 수 있는 제시제어 기술, 새로운 감각을 체험할 수 있는 음향기술을 이용하여 보다 높은 현장감을 제공함과 동시에 영상에 비치고 있는 피사체를 검출∙추적하여 다양한 메타데이터와 연계시키는 기술을 이용함으로써 새로운 시청 체험을 제공한다. TV 중계로는 볼 수 없는 서비스로서 제공하는 것을 목표하고 있다.

-- 새로운 감각의 라이브 공연 --
-- 스타디움 솔루션 --

■ 고현장감 UX 서비스를 구성하는 주요 기술
스포츠를 즐기는 새로운 방법을 제공하는데 있어서, 일반적으로 볼 수 없는 것을 보여주고, 일반적으로 들을 수 없는 소리를 들려줌으로써 지금까지 없었던 전혀 새로운 스포츠 관람 방식을 실현할 수 있다. 그것을 실현하는 기술로서 ‘자유시점 영상합성 기술’이나 ‘고(高)프레임 레이트 영상 부호화 기술’을 들 수 있다.

‘자유시점 영상합성 기술’은 마치 경기 중의 경기장에 있는 것과 같은 시점에서 스포츠를 관람할 수 있는 기술이다. ‘고프레임 레이트 영상 부호화 기술’은 고속 카메라를 이용함으로써 스포츠 선수나 볼 등의 빠른 움직임을 정확하게 포착하여 관객에게 보여줌으로써 약동감이나 작은 움직임의 차이를 보여주기 위한 고정밀∙고프레임 레이트 영상을 압축하는 기술이다. 또한, 지금까지의 퍼블릭 뷰잉처럼 이른바 TV 영상을 큰 화면으로 하는 것뿐 아니라, 시야를 덮을 정도의 고정밀 파노라마 큰 화면의 영상을 생성하는 ‘서라운드 영상 합성∙동기(同期) 전송 기술’이나, 스테레오와 서라운드 스피커가 있는 장소는 물론 영상 속의 피사체 위치, 스크린 보다도 튀어나온 위치에 음상(音像)을 정위(定位)할 수 있는 ‘파면 합성 기술’을 이용한다. 이를 통해 관객들은 HMD나 헤드폰과 같은 디바이스를 장착할 필요 없이 현장에 있는 것과 같은 체험을 실현할 수 있다.

또한, 3D용 안경을 쓰지 않아도 입체 영상을 볼 수 있는 ‘육안 3D 영상 스크린 기술’을 이용함으로써 지금까지와는 다른 현장감을 체험할 수 있게 된다. 영상의 3D화를 위해서는 다양한 각도에서 피사체를 촬영한 후에 그 영상에서 필요한 피사체만을 추출하는 ‘임의 배경 실시간 피사체 추출 기술’이 필수다. 스포츠나 엔터테인먼트의 경우는 배경에 움직임이 있는 환경에서 실시간으로 얼마나 정교하게 추출할 수 있는가가 포인트가 된다.

■ 향후 과제
NTT그룹에서는 여기서 소개한 기술에 멈추지 않고 다양한 미디어 처리기술, 통신기술을 활용하여 새로운 유저 체험을 제공하는 고현장감 UX 서비스의 창출을 위해 다양한 분야에서 오픈 이노베이션을 추진하고 있다. 그 결과, 실제로 사업을 검토하는 단계로 이어지는 것도 있고, 아직은 실증 실험 단계에 머물러 있는 것도 많이 있다. 앞으로도 다양한 플레이어들과의 오픈 이노베이션을 추진하여 ‘사회적 과제의 극복’이나 ‘지방창생’에 도움이 되는 미디어 처리기술, 통신기술의 확립과 서비스 창조를 지향해 나간다.

  -- 끝 --