일본산업뉴스요약

Nikkei X-TECH_2022.12.13

카타르 월드컵에서 ‘1mm의 기적’ 연출
소니가 바라보는 가시화의 미래

“저 공이 골라인을 넘었을까, 안 넘었을까?”

12월 2일, 카타르에서 열린 '2022 FIFA 월드컵' 일본-스페인전. 후반 6분 일본의 역전골로 이어진 미토마(三笘) 선수의 골라인에서의 공 리턴은 일본 전역 약 수 천만 명이 숨 죽이며 판정 결과를 기다렸다는 점에서 일본 스포츠계에 역사로 남을 만한 사건이라고 할 수 있다.

대부분의 카메라 영상에서는 아웃으로 보였지만, 몇 분 뒤 정식으로 인으로 판정된 1mm의 기적을 연출한 것은 최근 잘 알려진 VAR(Video Assistant Referee)이다. 이 판정에 대한 자세한 내용은 알 수 없지만, 골라인을 따라 설치된 고속 카메라와 위에서 경기를 촬영하는 카메라 영상을 꼼꼼히 체크한 결과로 보인다.

이 VAR 시스템을 월드컵을 주최하는 FIFA(국제축구연맹)에 제공하고 있는 것이 영국에 거점을 둔 소니그룹 산하의 호크아이 이노베이션스(Hawk-Eye Innovations)이다. 월드컵에서 VAR이 채택된 것은 지난 2018년 러시아 월드컵에 이어 두 번째이다.

VAR은 스타디움에 설치된 다수의 카메라 영상에서 축구 경기의 흐름을 좌우하는 4가지 현상에 대해 확인하는 시스템이다. 4가지 현상이란 1. 골 득점 시 그 기점이 된 플레이 이후에 반칙이나 오프사이드가 있었는지, 2. PK 판정 확인, 3. 레드카드가 나왔을 때 반칙 확인, 4. 심판이 반칙한 선수에게 옐로카드나 레드카드를 제대로 주었는지 등이다.

VAR에서는 확인이 필요한 플레이가 발생했을 때, 서로 다른 앵글에서 촬영되고 있는 다수의 영상 가운데 즉시 베스트 앵글의 영상을 선택해 비디오 어시스턴트 심판이 체크할 수 있도록 할 필요가 있다. 호크아이는 이러한 구조를 실현하는 소프트웨어를 제공하는 것 외에도, 스포츠 관련 지식이 풍부한 전문 리플레이 오퍼레이터를 현지에 파견하고 있다.

FIFA에 따르면, 이번 월드컵 비디오 어시스턴트 심판팀은 행사장에 설치된 42대의 방송용 카메라에 접근할 수 있다. 그 중 8대는 슈퍼 슬로 모션, 4대는 울트라 슬로 모션에 대응한 고속 카메라라고 한다. 지난 러시아 월드컵에 도입된 카메라 대수는 33대였다.

참고로, 비디오 어시스턴트 심판팀은 월드컵 경기가 열리고 있는 8개 경기장과 광섬유망으로 연결되어 있으며, 중계용 카메라 등 모든 영상이 집약되는 도하 시내의 '비디오 오퍼레이션 룸(VOR)'에 상주한다고 한다.

-- 의혹 판정을 없앤 '반자동 오프사이드 기술' --
VAR과 함께 이번 월드컵에 도입되어 화제가 되고 있는 것이 ‘반자동 오프사이드 기술’이다. 영상을 기반으로 한 호크아이의 트래킹 시스템과 IMU(관성계측장치)를 내장한 독일 아디다스의 축구공 'AL RIHLA'를 조합해 실현했다.

IMU는 독일의 키넥슨 (KINEXON)이 제공했다. 이 반자동 오프사이드 기술로 사람의 눈으로는 판정하기 어려운 경우도 많아 그동안 숱한 논란을 빚어온 오프사이드를 정확하게 판정할 수 있게 되었다.

호크아이는 이번에 경기장 지붕 밑 부분에 경기장을 둘러싸듯이 12대의 트래킹 전용 4K 카메라를 설치. 이 카메라들로 시합을 촬영했다. 공과 모든 선수들의 위치를 삼각법을 통해 3D로 취득하고, 선수에 대해서는 영상에서 기계학습으로 29개의 관절 등의 데이터를 1초에 50회 취득해 움직임이나 자세를 트래킹한다. 호크아이는 이 트래킹 기술을 ‘SkeleTRACK’이라고 부르고 있다.

한편, IMU가 중심부에 탑재된 공은 공의 위치와 스피드, 회전수 등의 데이터를 초당 500회 송신한다. 오프사이드 판정에서는 공격하고 있는 팀의 선수가 상대편 골을 향해 공을 찬 순간을 정확하게 포착하는 것이 중요하다. IMU가 내장된 공은 이것이 가능하기 때문에 호크아이가 수집한 선수의 트래킹 데이터로 오프사이드 라인 부근의 상황을 체크하면 오프사이드 여부를 판정할 수 있다.

이 SkeleTRACK이 오프사이드라고 판정할 경우, VOR에 상주하는 심판에게 자동으로 경고가 표시되며, VOR에서는 필드 위 심판에게 이를 전달하기 전에 자동으로 선택된 킥 지점과 선수의 손발 위치를 계산하여 자동으로 작성된 오프사이드 라인을 수동으로 확인. 제안된 판정을 검증한다. 이 과정은 단 몇 초 내에 이루어진다고 한다.

또한, 키넥슨은 UWB(Ultra Wide Band)를 사용한 자기 위치 추정 기술도 보유. 이를 통해 10㎝ 이하의 정밀도로 공의 위치를 추정할 수 있다고 한다. 하지만, FIFA 공식 페이지에서는 이 기술의 채택에 관련된 언급은 없었다.

반자동 오프사이드 기술은 축구에서 가장 어려운 판정이었던 오프사이드에 정확성을 가져다 준 점에서 큰 임팩트가 있다. 이와 함께 시청자에게 판정 결과를 비주얼로 알기 쉽게 전달한 점도 높게 평가되고 있다. 이것을 가능하게 한 것이 SkeleTRACK에서 출력되는 고정밀도의 골격 데이터와 볼의 트래킹 데이터를 사용해 3D CG(컴퓨터그래픽)를 생성하는 호크아이의 ‘HawkVISION’이다.

호크아이에 따르면, SkeleTRACK으로 경기 영상에서 각종 플레이 데이터를 출력하기까지 걸리는 시간은 0.5초 이내. 그리 복잡하지 않은 그래픽의 경우, 경기 영상을 신속하게 CG화 할 수 있다고 한다. 실제로 이번 월드컵에서는 경기 영상을 근소한 지연으로 CG화 한 데모도 선보였다.

12월 초순에 개최된 소니그룹 내의 기술 교환회 ‘STEF(Sony Technology Exchange Fair)’에서는 맨눈으로 3D 영상을 즐길 수 있는 ‘공간 재현 디스플레이(ELF-SR1)’를 사용해 HawkVISION으로 CG화 한 시합을 재생하는 데모를 선보였다. ELF-SR1은 보는 사람의 시선을 추적함으로써 눈의 위치를 검출하고, 좌우 각각의 눈에 최적의 영상을 생성하여 표시. 입체감 있는 새로운 시청 체험을 제공한다.

-- 새로운 인수로 체제 강화 --
소니가 호크아이를 인수한 것은 2011년 3월. 트래킹 기술을 기반으로 심판 판정 보조 및 방송 영상에 경기 데이터 등 비주얼 효과를 추가하는 서비스는 테니스의 라인 판정을 시작으로 다양한 경기와 리그로 확산되었다.

호크아이는 지금까지 25종류의 경기, 90개국 이상에 있는 500개 이상의 스타디움 아레나, 연간 2만개 이상의 이벤트·경기에 서비스를 제공한 실적을 가지고 있다. 이미 미국의 메이저리그와 이탈리아 축구 리그 세리에 A 등이 SkeleTRACK을 채택하고 있다.

11월 7일, 소니그룹에서 일렉트로닉스 사업을 담당하는 소니는 성장 영역으로 자리잡고 있는 스포츠 비즈니스 체제 강화를 위해 네덜란드의 비욘드 스포츠(Beyond Sports) 인수를 완료했다고 발표했다. 이 회사는 경기 데이터를 가상 콘텐츠화 할 때의 실시간 데이터 처리 및 보정과 운동 과학을 기반으로 한 3D 애니메이션 제작에 관련된 수준 높은 기술을 보유하고 있다고 한다.

이번 인수를 통해 소니의 스포츠 비즈니스는 호크아이와 비욘드 스포츠, 그리고 이미 산하에 있는 스포츠 관련 웹 사이트 운영과 앱 개발, 인터넷 송신 등을 실시하는 영국의 펄스라이브(Pulselive) 등 3사를 중심으로 추진해나가는 체제가 구축되었다.

향후 성장의 핵심이 되는 것이 “대량으로 취득한 시합의 데이터를 비주얼화 해 그것을 어떻게 비즈니스로 연결시켜나갈 것인가에 있다”(호크아이의 야마모토(山本) 아시아퍼시픽 바이스 프레지던트).

스포츠 데이터의 활용은 선수 및 팀 훈련, 스카우팅, 가시화를 통한 팬 인게이지먼트 향상, 새로운 엔터테인먼트 창출 등 광범위하다. 소니는 스포츠 데이터 수집에서 실시간 콘텐츠 제작, 새로운 엔터테인먼트 창출에 이르기까지 일련의 서비스를 강화해 비즈니스를 확대해나가는 것을 목표로 하고 있다.

-- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.