일본산업뉴스요약

Nikkei X-TECH_2021.11.5

소프트뱅크, 세계체조∙리듬체조 방송에서 기술 협력
무인카메라나 자유 시점 영상, 3D아바타

소프트뱅크는 21년 11월 5일, 같은 해 10월에 개최된 '2021 세계체조∙리듬체조 선수권 기타큐슈 대회'에서 대회를 방송한 TV아사히를 대상으로 실시한 영상 관련 기술 협력에 대해 기자설명회를 개최했다.

구체적으로는 아래의 3개의 대응을 실시했다. (1) AI(인공지능)로 선수를 자동 추적하는 카메라를 경기장에 3대 설치해서 리듬체조 연기의 멀티 앵글 영상을 무인으로 촬영하고, 그것을 초저지연으로 전달했다. (2) 철봉 체조 연기를 총 20대의 카메라로 촬영해서 볼거리 장면을 여러 각도에서 시청할 수 있는 자유 시점 영상을 생성했다. (3) 스마트폰으로 3D 아바타를 만드는 앱을 활용해서 피사체의 아바타가 AR(증강현실)에서 체조 연기를 하는 콘텐츠를 제공했다. 이들 기술을 활용해 촬영한 영상 중 일부는 TV아사히의 대회 중계 및 보도 프로그램 등을 통해 방송된 것으로 알려졌다.

(1)의 AI 카메라는 영상을 해석해 선수만을 자동 추적해, 줌인∙줌아웃을 무인으로 실시해 전송 영상을 자동으로 작성한다. 리듬체조 단체경기에서는 여러 선수가 한 곳에 모이거나 흩어지는데 그때마다 최적의 구도가 되도록 조정했다. “AI에는 미리 과거의 리듬체조 연기 영상을 1주일분 정도 학습시켰다”(소프트뱅크 서비스기획본부 콘텐츠추진통괄부 오오쓰카(大塚) 부장).

AI 카메라는 3대 설치하고, 경기장의 일부에 설치한 태블릿으로 자신이 좋아하는 시점에서 연기를 볼 수 있도록 했다. 그 때 눈앞의 실제 연기와 태블릿 영상에 지연이 발생하면 유저 체험이 손상되기 때문에 독자적인 프로토콜을 활용한 초저지연으로 전달했다. 구체적으로는 통상의 인터넷 전송에서는 수십 초의 지연이 발생하지만 이번 경우는 0.1~0.3초로 거의 실시간 재생을 실현했다. 태블릿 영상의 디코드나 버퍼링, 렌더링에도 독자 프로토콜에 대응한 시스템을 넣었다고 한다.

(2)의 자유 시점 영상은 20대의 카메라로 촬영한 영상으로 작성한다. 태블릿 화면에서 영상을 핀치인, 핀치아웃하거나 좌우 스와이프로 회전하거나 상하의 스와이프로 저속 재생이 가능하도록 했다.

(3)은 스마트폰 카메라로 자신의 얼굴과 전신 주위 360도를 촬영하기만 하면 약 5분 만에 3D 아바타를 만들 수 있는 앱을 활용한다. 작성한 아바타에 링 체조 연기 모션을 추가, 스마트폰으로 아바타가 연기하는 모습을 볼 수 있도록 했다. 그 때 AR 기술을 사용해 스마트폰 화면에 위화감 없이 아바타를 표시하도록 했다고 한다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.