NTT 기술저널_2018.10 (p12~15)

특집
초고(超高) 임장감(臨場感) 통신기술 Kirari! Beyond 2020
고(高)임장 / 미디어 / 통신

NTT그룹에서는 초고 임장감 통신기술 Kirari!의 연구 개발을 통해 ‘공간을 초월하는’ 가치 창조에 공헌하고 있다. 고음질, 고화질이라는 진화의 한계를 넘어 마치 눈 앞에 사람이 있는 것과 같은 초고 임장감을 목표로 하고 있다. 이 글에서는 Kirari!의 기술 개요 및 라이브 뷰잉 및 지금까지 없었던 놀라운 연출에 의한 공연 등과 더불어 Beyond 2020의 방향성에 대해 소개하겠다.

■ Kirari!
2016년 1월 22일에 각의 결정된 제5기 과학기술 기본계획에서는 새로운 개념인 ‘Society 5.0’을 내세우고 있다. 수렵사회(1.0), 농경사회(2.0), 공업사회(3.0), 정보사회(4.0)에 이어, 인류사의 5번째 사회인 Society 5.0은 과학기술 이노베이션 통합전략(2016년 5월 24일 각의 결정)에 있어 다음과 같이 의결되었다.

▶ 사이버 공간과 실제 공간을 고도로 융합시킴으로써,
▶ 지역, 연령, 성별, 언어 등에 의한 격차 없는 다양한 니즈, 잠재적인 니즈에 섬세하게 대응한 제품 및 서비스를 제공함으로써 경제적 발전과 사회적 과제 해결을 양립시켜
▶ 사람들이 쾌적하고 활력이 넘치는 양질의 생활을 보낼 수 있는 인간 중심의 사회

지금까지 정보사회기술(ICT)의 진전에 따라 떨어져 있는 사람과의 음성∙영상 커뮤니케이션이 실현되어 보다 고음질, 고화질의 통신으로 전이되어 왔다. 또한 각종 센서의 기술 진보에 의해 사람이 있는 현실 공간 자체를 센싱 할 수 있게 되었다. 센싱 정보를 사이버 공간에서 미디어로 처리해 전송함으로써 ‘마치 눈 앞에 사람이 있는 것처럼’ 다른 현실 공간에서 재현시키는 것이 ‘Society 5.0’에서는 일반적으로 가능해질 지도 모른다.

이 재현을 고(高) 임장감이라고 부른다면, NTT 그룹이 추진하는 Kirari!는 통신에 의한 미디어 전송의 최첨단을 달리는 테크놀로지로서, 고음질, 고화질이라는 진화의 틀을 뛰어넘은 초고 임장감을 실현하는 것이다.

Kirari!에 의해 떨어진 장소의 사람이나 공간을, 거리를 뛰어넘어 실시간으로 전송할 수 있게 된다. 이에 따라, 예를 들어 스포츠 관전을 위해 현지에 발걸음을 옮길 필요 없이, 경기를 체험하는 것이나 공연회장에 원격지로부터 연기자가 참여하는 연출도 가능하게 된다. 앞으로의 Society 5.0에서는 ‘공간을 초월하는’ 관점으로 Kirari!가 공헌할 수 있을 것으로 생각하고 있다.

Kirari!의 좋은 활용 사례를 그림3에 제시했다. 관전이 쉽지 않은 해외의 스포츠 경기를 현지에서 라이브 뷰잉하는 사례에서는 착시 효과를 이용해 입체적으로 보는 것과 같은 시청 체험 및 기존의 사진 렌즈로 촬영할 수 있는 범위의 각도를 훨씬 능가해 시야를 꽉 메우는 시청 체험을 제공하고 있다. 또한 공연 등으로 지금까지 보지 못한 놀라운 연출을 제공하는 것도 가능하다. 예를 들어 실제의 연출을 센싱 및 미디어로 처리해 착시 효과에 따른 연기자를 창출해 중첩시킨다. 중첩하는 시각을 제어함으로써 실현이 불가능했던 현재의 연기자와 과거의 연기자와의 공연이 실현 가능하게 되었다. 이와 같은 시도를 통해 다양한 콘텐츠를 공간을 초월해 초 임장감으로 체험할 수 있게 되는 것을 목표로 한다.

■ Kirari!의 기술 개요
Kiarari!의 기술개요를 그림 4에 제시했다. 스포츠나 공연을 하고 있는 현장, 통신, 시청장소의 3가지 관점으로 생각했을 때, 통신으로 표시되는 영역이 초고 임장감 통신기술 Kirari!가 된다. 카메라, 마이크, 센서에 의해 추출된 정보를 네트워크를 통해 미디어 제어, 미디어 처리, 동기화해 시청하는 장소로 전송한다.

미디어 제어는 카메라로 촬영된 인물과 센서에 의해 얻어진 위치 정보 및 증명 정보를 관련 짓게 하는 공간 정보와 인물의 전송 시간을 절대 시간으로 제어하기 위한 시간 제어로부터 구성된다.

미디어 처리는 촬영된 화상 정보로부터 인물의 영역을 피사체로 추출해 마이크의 음향 정보로부터 파면합성음향기술 등에 의해 보다 고임장(高臨場) 음성으로 한다. 이것들은 그림 3의 스포츠 중계 및 공연에 있어서 착시효과에 의해 인물을 입체적으로 표시해줌과 동시에 소리를 객석까지 낼 수 있도록 하는 음향 재현에 필요한 처리이다. 한편, 초(超) 와이드 합성에서는 그림 3의 시야를 가득 채운 화면에서의 시청 체험을 위해 복수의 카메라 영상을 합성했다. 또한 필드 재구성에 있어서 피사체의 구조 및 상태를 해석해 3차원적으로 재구성하는 것을 가능케 했다. 또한 효율적인 전송을 위해 부호화 처리를 시행한다.

미디어 전송 규격 MMT(MPEG Media Transport)에 독자적인 확장을 시행한 Advanced MMT에서 동시에 전송한다. 절대 시간으로 동기화할 수 있는 것으로 전세계의 임의의 지점에 동 시각에 전송이 가능하게 된다. Advanced MMT는 화상, 음향, 조명 정보 등을 기반으로 초고 임장감을 실현시키기 위한 설계도 역할을 담당한다.

시청 장소에서는 Advanced MMT의 설계도에 따라 프로젝션, 스피커, 조명 연출 등을 시행한다.

■ 향후 전개
초고 임장감을 실현하는 Kirari!를 많은 유저가 체험할 수 있게 하기 위해 마치 눈 앞에서 펼쳐지고 있는 것과 같은 스포츠의 라이브 뷰잉, 지금껏 보지 못했던 ICT연출에 의한 예능 공연, 과거 연기자와의 공연에 초점을 맞춘 댄스, 원격지의 강연 중계 등의 PoC(Proof of Concept), 트라이얼 등을 실시해왔다. 이와 같은 시책을 추진하기 위해서는 Kirari!의 고도화로서 사람이 왕래하는 환경에 있어서도 주목하는 피사체를 고정밀도로 추출할 필요가 있다. 또한 보다 높은 고해상도의 영상을 초(超) 와이드로 합성하는 것도 과제로 남아 있다.

한편, 사회에서 실용시키기 위해서는 비용 절감 시책도 중요한 과제이다. 예를 들어 고해상도 영상을 보다 압축하는 것이나 미디어 처리의 서버 수 절감에 대해서도 검토를 진행하고 있다. 또한 미디어 제어가 고도화됨으로써 과거의 연기자와의 공연 등에 있어서 실제의 연기자 옆에 정확히 과거의 연기자를 자동 중첩할 수 있게 됨으로써 연출을 위한 인적 비용 절감에도 공헌할 수 있다.

Kirari!의 스포츠, 공연 등으로의 사회 실장을 촉진시키기 위해서뿐만 아니라, 2020을 응시하는 시기에 와 있다. 예를 들어 보수∙감시 분야에 적용한다면, 도로 및 역 등을 초 와이드 합성 영상으로 감시할 수 있다. 마치 눈앞에 감시 대상이 존재하는 것과 같은 체험으로 이어질 수 있다. 의료 분야에 있어서 의사의 원격 진단, 엔터프라이즈 분야에서의 무인 접수, 텔레워크(원격 사무실이나 재택 근무)의 촉진으로도 검토를 확대해 나갈 예정이다. 향후에도 지금부터의 활동을 통해 Society 5.0에 의한 ‘공간을 초월한’ 가치 창조에 공헌해 나갈 것이다.

 -- 끝 --