일본산업뉴스요약

Nikkei X-TECH_2021.7.30

도쿄올림픽, 센서와 AI 카메라로 순간 재현
올림픽 선수는 100m를 어떻게 완주할까？

도쿄올림픽∙패럴림픽에서는 경기를 포착하는 디지털 기술이 크게 진화하고 있다. 그 수준은 육상 경기나 수영 경기 등의 레이스 과정을 재현할 수 있을 정도다. 이를 지원하는 것은 신형 센서나 AI(인공지능)에 의한 이미지 처리다.

대회 8일째인 21년 7월 30일부터, 올림픽 육상 경기로서는 처음으로 출전 선수가 몸에 장착하고 동작을 데이터화하는 ‘모션 센서’를 도입한다. 모션 센서에서 나오는 데이터와, 주경기장인 국립경기장(도쿄 신주쿠)을 에워싸듯 설치된 많은 카메라 영상을 AI 처리한 데이터를 사용해 시시각각으로 변하는 선수의 주행 속도나 가감속 변화를 도출한다.

이 데이터는 레이스 후 바로 선수나 코치에게 제공해 분석에 활용한다. 또한 경기 중계 방송에서도 레이스 전개를 해설하는 리플레이 영상 등에서 사용될 예정이다. 21년 7월 30일에 경기가 시작된 여자 100m 예선에서는, 바로 각 방송국에 전송되는 국제 영상에서 주행 중 데이터를 시각화하는 등의 소재 영상이 제작되고 있다고 한다. 21년 8월 1일에 결승 예정인 남자 100m 등의 트랙 경기에서도 각 방송국의 판단으로 레이스 전개나 선수의 움직임을 해설하는 영상에 활용할 전망이다.

유사 기술의 일부는 이미 수영에서도 사용되고 있다. 헤엄치는 선수의 레인 상에 현재의 속도가 CG로 겹쳐져, 데이터를 바탕으로 한 접전을 화면 너머로 관전한 사람도 많을 것이다. 선수가 센서를 장착하지 못하는 수영은 카메라 영상으로만 움직임을 데이터화했다. 승마에서는 센서와 영상을 이용해 기수가 조종하는 말의 움직임과 도약한 궤도도 데이터로 가시화하고 있다.

-- 200개 종목의 데이터로 선수의 주행을 재현 --
육상 경기에서 도입하는 동작 센서는, 스위스 유명 시계 업체인 The Swatch Group 산하의 스위스 OMEGA Timing이 개발, 운용도 담당하고 있다. 무게는 16g이다. 육상 선수의 번호판에 장착되어 3축 방향의 가속도나 각가속도 등을 계측한다. 오메가 타이밍은 도쿄올림픽의 모든 계측을 담당하고 있다.

오메가 타이밍은 이 센서의 데이터와, 경기장 관중석과 지붕 등에 설치된 카메라 영상을 AI로 처리한 데이터와 조합해 레이스 도중의 주행 속도, 레인과 코너를 달리는 선수의 궤도, 선수에 걸리는 체중 부하 등을 계산한다. 데이터화하는 항목은 전부 2,000 종류에 이른다고 한다.

‘실시간 트래킹 시스템(RTTS)’이라 부르는 이 일련의 기술은 세계육상연맹(World Athletics)이나 국제올림픽위원회 등과 오메가 타이밍이 연계해 개발했다. 일부 육상대회에 선행 도입을 거쳐, 올림픽 육상에서는 처음으로 도쿄올림픽에서 도입했다. 오메가 타이밍은 데이터를 원하는 선수나 코치에게는 경기 후 바로 제공하고, 국제영상을 제작하는 올림픽주관방송사(OBS) 등을 통해 각 방송사에도 제공한다.

오메가 타이밍은 과거의 레이스나 예선 레이스와의 비교∙분석도 추가해 데이터를 제공할 뿐만 아니라 다른 선수와도 비교할 수 있는 형태로 데이터를 제공한다. 운용 룰은 세계육상연맹 등과 결정하고 있으며, “투명성을 확보하는 형태로, 모든 선수의 데이터를 동일한 조건으로 모든 선수∙코치에게 제공한다”(오메가 타이밍의 앨런 조브리스트 CEO). 도쿄올림픽을 기회로 육상 경기는 ‘예선을 통과할 때마다 자세한 주행 데이터를 분석해 다음의 레이스에 대비해 전략을 짜는’ 방식이 더해질 것 같다.

-- 인텔이나 알리바바도 참여 --
육상 경기의 데이터화는, 오메가에 가세해 미 인텔도 독자적인 시스템을 국립경기장에서 운용한다. ‘3D 선수 트래킹(3DAT)’이라고 부르는 시스템으로 OBS와 연계해 육상 단거리 종목의 영상 제작에 사용할 예정이다. 영상 등의 분석에는 중국 알리바바 산하의 알리바바 클라우드의 IT 인프라를 사용한다.

3DAT는 소수의 카메라만으로 선수의 움직임을 데이터화하는 점에서 오메가의 기술과 다르다. 카메라의 회전을 원격으로 조작하는 ‘팬 틸트 카메라’를 4대 사용해 초당 60프레임의 코마 수로 선수의 영상을 데이터화한다.

이 영상 데이터에 인텔이 개발한 AI의 자세 추정 알고리즘을 적용해 선수들의 폼과 몸의 움직임을 분석한다. 이를 통해 선수가 센서를 장착하거나 경기장에 대규모 분석 연구소를 설치하지 않고도 선수 신체의 20곳 이상의 포인트를 파악하고, 그것을 추적함으로써 3D로 움직임을 데이터화할 수 있다. 분석한 데이터를 실제 경기 영상에 겹치는 ‘오버레이 비주얼’로 변환해, 텔레비전이나 온라인 방송에서의 리플레이 영상 등에 이용한다.

취득한 데이터로부터 선수의 평균 속도, 속도의 피크와 같은 육안으로는 파악할 수 없는 정보를 경기 중에 리얼타임으로 화면 상에 표시한다. 인텔에 따르면, 선수나 코치가 경기 중의 퍼포먼스를 분석할 때 3DAT를 사용하고 있으며, 훈련 정밀도 향상에 도움이 되고 있다고 한다.

-- 선수에게 추종해서 데이터를 겹쳐서 표시 --
경기 모습을 데이터화하는 기술은, TV나 온라인 관전을 즐기는 방식도 바꾼다. 도쿄올림픽에서 OBS는 선수의 움직임에 추종해 선수 정보 등을 겹쳐서 표시하는 기술을 도입했다. 또한 득점 장면 등의 중요 장면은, 시점을 움직인 리플레이 영상에서 자세하게 분석할 수도 있도록 했다.

OBS가 농구를 비롯한 구기 및 단체 경기의 국제방송을 제작할 때 사용하는 것은 인텔이 개발한 ‘True View’다. 실사에서 3DCG(입체 동영상)인 ‘Volumetric Video’를 만드는 기술이다. 경기장을 에워싸듯 설치한, 수십 대의 고해상도 5K 카메라로 코트 전체를 촬영해, 가로∙세로∙깊이를 기록한 입체 영상 데이터를 생성한다.

각 카메라는 광섬유 케이블로 경기장 내의 전용 서버에 연결되어 있어 영상 데이터는 서버 상에서 보존∙처리된다. 이 영상 데이터를 사용함으로써 리플레이 영상이나 하이라이트를 방송할 때 시청자는 선수의 시선과 골 링에서의 시선 등을 포함한 360도 시점에서 재현된 플레이 영상 등을 볼 수 있다. 육안으로는 판정하기 어려웠던 플레이의 확인에도 활용할 수 있다고 한다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.