일본산업뉴스요약

Nikkei X-TECH_2023.1.24

소니계열사, 영상 제작을 위한 정동(Affect) 추정 기술 개발
AI로 '스코어' 자동 산출

시청자의 반응으로부터 정동을 AI(인공지능) 기술로 추정해 발매 전 영상 작품에 대한 평가나 제작에 활용한다'. 이러한 정동 추정 시스템을 소니계열사가 개발해 영상 제작에서의 이용이 확산되고 있다. 영상 분야를 시작으로 게임 제작, 마케팅 등 다양한 분야에서 AI를 이용한 정동 분석 기술의 수요가 늘어날 것으로 보인다.

기존에는 시청자에게 영상을 다 본 후 설문지에 답하도록 하거나, 일부 사람을 대상으로 그룹 인터뷰를 실시해 평가를 받아왔다. 이러한 방법은 영상 작품 전체에 대한 평가는 얻을 수 있지만, 장면이나 대사에 대한 감상 등 상세한 정보를 얻기는 어려웠다. 무엇보다 타임라인에 따른 시청자들의 직접적인 반응을 알 수 없었다.

이를 해결하기 위해 소니그룹은 시청자의 정동을 추정할 수 있는 시스템 운용을 시작했다. 시스템은 미국의 Sony Corporation of America와 Sony India Software Center가 개발한 ‘Viewing eXperience(VX)’. 기존 평가법을 보완할 수 있는 툴이라고 평가되고 있다.

동영상 서비스를 제공하는 플랫폼의 경우, 시청자의 프로파일은 물론, 시청자가 어떤 컨텐츠를 얼마나 보았는지, 어느 씬을 보지 않고 넘어갔는지, 어디서 일시 정지했는지 등의 데이터를 취득할 수 있다. 반면, VX 시스템은 타임라인에 따른 시청자의 정동을 추정할 수 있다는 것이 큰 특징이다.

우선 소니그룹의 영화사업사인 미국 Sony Pictures Entertainment(SPE)가 2018년 VX 시스템을 이용하기 시작했다. 2021년부터는 외부 시사회 운영 기업과 연계해 SPE 이외의 콘텐츠 시사회에서도 이용. 2022년에는 SPE와 다른 제작사의 작품을 합쳐 80여 작품에 대한 평가에 이용되었다고 한다. 영화뿐만 아니라 TV 프로그램 등에서도 이용되고 있다.

VX 시스템에서는 콘텐츠의 어느 부분이 관객에게 받아들여지고 있는지, 또 그것이 의도한 연출과 부합하는지 등을 확인할 기회를 크리에이터 측에 제공한다. 작품 전체에서 재미의 균형이 잡혀 있는지를 확인하는 데도 이용할 수 있다.

또한 평가 결과를 바탕으로 스토리와 편집, 장면의 길이를 바꾸는 등의 조정을 실시할 수 있다. 주로 작품 정식 개봉 전에 VX 시스템을 이용하지만, 속편 제작을 위해 전작을 평가할 경우에도 이용된다.

영화 예고편 등 홍보용 다이제스트판 제작에도 이용할 수 있다. 재미있는 장면만 연결하면 인상적인 다이제스트판을 효율적으로 제작할 수 있다.

-- 3종류의 데이터를 AI로 분석 --
VX 시스템에서는 크게 3종류의 데이터를 실시간으로 취득해 평가에 이용한다. 그 3가지는 ‘표정’, ‘맥박’, ‘박수나 웃음소리 등의 음량’이다. 표정은 시청자 앞에 설치한 카메라로, 맥박은 시청자가 착용한 웨어러블 기기로, 박수나 웃음소리 등의 음량은 마이크로 측정한다. 그리고 취득한 데이터를 클라우드에 송신한다.

카메라로는 얼굴 표정에서 놀라움, 슬픔, 두려움, 행복, 분노 등, 8가지 감정과 감정의 강도를 추정하고, 성별과 나이도 추정할 수 있다. 눈 주위나 입꼬리 등의 움직임에 대한 데이터를 기반으로 하고 있다고 한다.

이 VX 시스템은 시청자를 방해하지 않고 데이터를 취득할 수 있다. 데이터는 모두 익명화해 시청자의 프라이버시를 보호한다.

클라우드로 전송한 데이터에 복수의 기계학습 알고리즘을 적용해 정동을 추정하고, 장면별 반응 정도를 '인게이지먼트 스코어'로 산출한다. 영상 데이터와 동기화시켜 어느 장면에서 어떤 반응이 있었는지를 초 단위로 가시화하고, 이에 대한 리포트를 자동으로 작성할 수 있다.

스코어가 급격히 올라가거나 내려가는 변화가 큰 부분(스파이크) 검출도 가능하다. 연령대나 성별에 따라 인게이지먼트 스코어에 어떤 차이가 있는지도 알 수 있다.

-- 타업종과의 제휴를 위한 비장의 카드 --
VX 시스템을 통해 시청자의 반응을 수치화함으로써 크리에이터와 마케터 등 다른 업종의 사람들이 객관적인 데이터를 바탕으로 영상 작품에 대해 논의할 수 있게 된다. 또한 부서나 기업과의 공동 작업에 있어서 ‘공통 언어’가 되어 작업의 효율이 높아질 것으로 전망된다.

예를 들어, SPE와 게임업체인 미국의 Sony Interactive Entertainment(SIE)는 자사가 제작한 PlayStation용 게임 영화 및 TV 프로그램을 제작하는 활동 'PlayStation Productions'를 추진하고 있다. 여기에서도 영상과 게임의 크리에이터들이 함께 논의하기 위한 토대로서 VX 시스템으로부터 얻은 객관적인 데이터를 이용하고 있다고 한다.

소니 최초의 자체 제작 게임 타이틀 영화 작품인 ‘언차티드’(2022년 2월 개봉)는 게임 유저 확대와 게임을 하지 않는 사람(논게이머)도 받아들이기 쉬운 내용을 목표로 제작되었다. 시청자들을 게이머와 비게이머로 나누어 각각 VX 시스템을 사용해 반응을 살피고 의도한 대로 반응했는지 여부를 조사했다.

앞으로는 적용 범위를 확대해나갈 방침이다. 소니는 VX 시스템을 게임이나 음악 라이브, 애니메이션 제작에도 이용할 수 있을 것으로 보고, 분야를 아우르는 응용을 모색. VX 시스템을 다양한 콘텐츠의 제작에 불가결한 툴로 만드는 것을 목표로 하고 있다.

또한, 처리의 고속화도 도모해나갈 방침이다. 현재는 저녁에 시사회를 실시하면 데이터를 분석한 결과가 다음날 나온다. 앞으로는 이 기간을 단축해 최대한 실시간으로 결과를 내도록 할 계획이다.

-- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.