전기전자/정보통신

NTT 기술저널_2022.9 특집 요약

새로운 라이프 스타일 ‘리모트 월드’ 실현을 위한 연구개발
무선 접속 네트워크의 오픈화와 인텔리전트화

NTT 인간정보연구소는 리모트 환경에서도 손색이 없는, 또는 보다 더 업그레이드된 체험을 제공할 수 있도록 하기 위해 현실 속 사람/사물/환경(필드)을 정확하게 센싱하여 로컬 & 원격의 가상 융합 공간을 구축. 유저의 상황에 대응한 환경을 실현하기 위해 혁신적인 연구개발을 추진하고 있다. 이번 특집에서는 ‘인간 능력 확장’, ‘신체의 원격화 기술’, ‘조화(調和) 재현 기술’ 및 ‘정동적(情動的) 지각 제어 기술’을 소개한다.

목차

1. 인생이 몇 배나 즐거워지는 ‘리모트 월드’ 실현을 위해
-- ‘어쩔수 없는 리모트’ 에서 ‘선택할 수 있는 리모트’로 --
'사람들이 충실한 인생을 위해 때와 장소에 따라 리모트를 선택할 수 있다'. 이러한 시대가 도래하는 것을 상정한 ‘선택할 수 있는 리모트’, ‘조합할 수 있는 리모트’를 실현하기 위한 기술들을 소개한다.

2. 새로운 '리모트 월드' 실현을 위한 인간 능력 확장 프로젝트
근육 전기자극을 이용해 운동 능력을 사람에게 직접 전달 및 공유하는 것을 목표로 하는 '운동 능력 전사 기술'과 주관적인 감각을 다른 사람이 자신의 감각으로서 형성할 수 있도록 전달 및 공유하는 것을 목표로 하는 '신체지(身體知) 기술'을 소개한다.

3. 사람의 신체성을 동반하는 원격 작업을 실현하는 신체 원격화 기술
원격지에서 의체(義體)를 통해 현지 작업 시와 동일한 활동을 가능하게 하거나, 의체와 함께 활동하는 사람이 불안이나 위화감을 느끼지 않는 형태로 동등한 대면 커뮤니케이션을 가능하게 하는 '신체 원격화 기술' 실현을 위한 연구개발에 대해 소개한다.

4. 리얼 콘서트장과 리모트 관객과의 조화 재현 기술

저지연 영상 통신과 크로스 모달 검색을 이용해 유사(類似) 환호성을 리얼 콘서트장에서 재생해 분위기 고조를 지원하는 실증실험에 대해 소개한다.

5. 사람이나 군중의 마음의 움직임을 추정 및 제어하는 정동적 지각 제어 기술
가상현실만의 즐거움을 체험할 수 있는 퍼스널 버추얼 공간을 생성하는 '정동적 지각 제어 기술'에 대한 연구개발 활동에 대해 소개한다.

6. 주역 등장: 이노모토(井元)(NTT 인간정보연구소)
리모트 월드 시대의 가슴 뛰는 엔터테인먼트 체험을 꿈꾸며
 

2. 새로운 '리모트 월드' 실현을 위한 인간 능력 확장 프로젝트

NTT 인간정보연구소는 리모트에서만 즐길 수 있는 유저 체험을 창출하는 새로운 '리모트 월드' 실현을 위해 사람의 능력 확장을 실현하는 기술개발을 추진하고 있다. 언어화가 어려운 운동 능력 및 신체지를 대상으로 표면 근전이나 뇌파와 같은 객관적으로 관측할 수 있는 정보를 수집. 

그 정보를 기반으로 근육 전기자극을 이용해 사람에게 직접 전달하는 등의 전달·공유를 목표로 하는 '운동 능력 전사 기술'과 그 사람의 내면에서 생기는 주관적인 감각을 파악해 그것과 같은 감각을 다른 사람이 자신의 감각으로서 형성할 수 있도록 전달 및 공유하는 것을 목표로 하는 '신체지 기술'을 개발, 리얼과 사이버를 뛰어넘은 능력 확장 실현을 추구하고 있다.

-- 리모트 월드에 있어서의 인간 능력 확장 프로젝트--
새로운 리모트 월드는 단순히 리얼 공간을 리모트로, 즉, 사이버 공간에서 접속하는 것만이 아닌 리얼과 사이버가 융합해 새로운 유저 체험이 창출되는 세계라고 생각한다. 우리 NTT는 '교육', 특히 악기 연주나 스포츠와 같이 신체 움직임을 동반하는 교육 및 트레이닝을 대상으로 지금까지 사람과 사람이 현실에서 직접 전달 및 공유해온 기능이나 신체 기술을 시간과 장소에 관계 없이 전달 및 공유할 수 있도록 한다. 

이를 통해 사람의 능력을 확장시켜 리모트 월드에서 새로운 유저 체험을 창출하는 것을 목표로 하고 있다.

이것을 실현하기 위해 NTT가 추진하고 있는 연구개발 가운데 프로 스포츠 선수나 장인들이 가진 기능이나 신체 기술(요령)에 대해 표면 근전이나 뇌파와 같이 객관적으로 관측할 수 있는 정보를 수집. 

그 정보를 기반으로 근육 전기자극을 이용해 사람에게 직접 전달 및 공유하는 것을 목표로 하고 있다. '운동 능력 전사 기술'과 그 사람의 내면에서 발생한 주관적인 감각을 파악해 그것과 동일한 감각을 다른 사람이 자신의 감각으로서 형성할 수 있도록 전달 및 공유하는 것을 목표로 하는 '신체지 기술'을 소개한다.

-- 운동 능력 전사 기술에 대한 연구개발--
리모트 월드에 있어서 새로운 형태의 교육 및 트레이닝을 실현하기 위해 NTT는 운동 능력 전사 기술에 대한 연구개발을 추진하고 있다. 시간이나 물리적인 거리에 관계 없이 다양한 사람들이 서로 가르쳐주며 전혀 새로운 지도·학습 체험을 얻을 수 있는 세계를 실현하기 위해 특히 대면으로도 어려운 운동 학습에 대한 연구를 추진하고 있다.

운동 능력 전사 기술은 숙련자의 운동을 재현·전사하는 것을 컨셉트로 하며, 인체의 운동 제어에 대해 센싱 및 개입함으로써 운동을 지원하는 기술이다. 인체에 있어서의 운동 제어와 운동 지원의 관계를 우리는 다음과 같이 제시한다. 사람의 운동은 뇌로부터의 운동 지시가 근육에 전달되어 근육이 수축함으로써 실행된다. 

그 결과를 뇌가 감각기관을 통해 자극으로 지각 및 인지하고 새로운 운동 계획 및 지시를 반복한다. 이때 센싱 장소와 피드백 장소의 조합과 구체적인 센싱 방법, 피드백 방법을 통해 운동을 지원하는 내용이 달라진다. 

운동 능력 전사 기술은 이러한 인체에 있어서의 통신 및 제어에 대해 주로 뇌파나 근전위 등 생체 신호의 센싱을 기반으로 한 해석 및 전기자극 피드백을 통해 지원하는 기술이다. 

현재, NTT는 뇌에서 근육으로의 운동 지시와 그 결과인 운동에 대한 센싱 및 개입으로 근육 활동(근전도), 운동 상황에 대한 센싱과 그것에 기반한 근육 전기자극(EMS)에 의한 운동 지원(개입)에 대한 연구개발을 개시. 더 나아가 감각기관으로부터의 입력에 대한 뇌의 지각 센싱 및 개입으로 운동의 기본인 자세 제어에 있어 중요한 시각, 체성(體性) 감각, 전정(前庭) 감각에 착안한 연구개발도 개시하고 있다.

운동 능력 전사 기술을 이용한 새로운 형태의 교육 및 트레이닝에 대해 알아보자. 통상적으로 특히 운동에 대한 교육 및 트레이닝에 있어 지도자나 트레이너는 같은 공간에서 대면으로 언어와 동작을 통해 학생들을 지도한다. 

NTT는 생체 정보의 센싱 및 개입에 의한 운동 능력 전사 기술을 통해 시간이나 물리적인 거리에 관계 없이 지도가 가능할 뿐만 아니라, 대면에서의 교육 및 트레이닝을 뛰어넘는 보다 효과적인 공간(리모트 월드) 실현을 목표로 하고 있다.

앞으로는 운동 능력 전사 기술 개발을 위해 연구하고 있는 각종 센싱 및 개입 기술을 기반으로 일상 속 움직임이나 스포츠, 악기 연주 등 구체적인 사례들을 대상으로 리모트 월드 시대에 있어서의 새로운 형태의 교육 및 트레이닝 실현을 위해 연구개발을 추진해나갈 방침이다.

-- 신체지 기술에 대한 연구개발 활동 --
NTT는 사람이 언어를 통한 이해로는 얻을 수 없는 비언어 지식(기능=신체지)의 추출 및 공유를 목표로 한 연구를 추진하고 있다. 스포츠에 있어서의 '신체지 획득'의 메카니즘을 밝혀 원격지에 있는 사람에게 타인이 가진 신체지를 획득할 수 있도록 지원하는 것을 목표로 한 기술 확립을 추진하고 있다. 

신체지 획득이란 어떤 신체적인 행위에 있어 자신에게 생기는 고유의 체감을 기반으로 신체(근육과 뼈)의 움직이는 방식을 수정해 보다 적절한 퍼포먼스를 발휘할 수 있게 되는 것이다. 하지만, 고유의 체감은 신체적 행위를 한 그 사람 내면에서 생기는 것으로, 주관적인 그 감각을 직접 파악해 타인에게 전달하는 것은 어렵다.

이번 연구개발에서는 윈드서핑을 대상으로, 높은 기술의 퍼포먼스를 발휘할 때 프로 윈드서퍼 고유의 체감을 신체 활동과 자연환경 및 도구의 움직임(상태 정보)을 파악해 그것들을 재현함으로써 동일한 체감을 형성해 타인의 신체지를 획득할 수 있을 것으로 보고, 이를 실현하기 위한 추출·공유 기술에 대한 연구개발을 추진하고 있다. 

추출 기술 개발의 한 예로, 실제 경기 선수의 경기 중 영상 및 활동 데이터를 센싱해 신체 동작의 의도와 의식하고 있는 것 등을 취득한 데이터와 함께 반복해서 인터뷰를 실시. 높은 수준의 퍼포먼스를 발휘했을 때 고유의 체감이 발생하는 상황을 특정. 이때의 상태 정보와 체감을 표현하는 오노마토페(의성어와 의태어를 합쳐 부르는 말)나 모형 등의 미디어를 조합해 신체지를 추출하는 기술을 제안하고 있다. 

추출한 정보를 선수 자신이 정말로 체감하는지, 의식하는지를 실제 경기 중에 평가해 피드백함으로써 추출 정밀도 향상을 추진하고 있다. 또한, 선수 간에 각자 고유의 체감을 형성하는 상태 정보 및 미디어를 공유해 비교함으로써 공통된 부분, 다른 부분을 추출해 신체지 획득 지원을 위해 보다 유효한 정보 추출이 가능하도록 방법을 개선하고 있다.

공유의 기술 개발에서는 추출한 정보를 기반으로 타인이 가진 고유의 체감을 재현하는 것에 도전하기 위해 상태 정보를 재현하기 위한 신체 감각 재생 시뮬레이터를 구축함으로써 신체지 획득 지원을 위한 기술을 구체화하기 시작하고 있다. 

신체 감각 재생 시뮬레이터는 실제로 선수가 실시한 윈드서핑(도구)의 움직임, 바람(자연환경), 선수가 보고있던 영상을 연동해 재생함으로써 타인이 가진 고유의 체감을 형성할 수 있도록 하고 있다. 

이를 통해 본래 공유가 어려운 그 사람 내면에 존재하는 주관적인 체감을 타인과 공유할 수 있을 것으로 생각한다. 현재는 선수 자신과 그 외 다른 선수가 실제로 평가를 실시해 피드백하고 있다.

신체지 기술에서는 현재 윈드서핑을 대상으로 추출·공유 기술에 대한 연구개발을 추진하고 있으며, 미래에는 스포츠뿐만 아니라 신체적 동작을 동반하는 기능이 요구되는 다른 분야로 확대해나가는 것도 시야에 넣고 기술 검토를 추진해나갈 방침이다. 

-- NTT도코모의 '인간 확장 기반'과 연계 --
리모트 월드에 있어 사람의 능력을 확장하는 연구개발은 NTT도코모가 6G(제6세대 이동통신시스템) 시대의 새로운 제공 가치 중 하나로 내걸고 있는, 네트워크로 사람의 감각을 확장하는 '인간 확장' 실현을 위한 기반인 '인간 확장 기반'과의 연계도 추진하고 있다. 

사람의 감각을 네트워크를 통해 전송, 확장하는 NTT도코모의 네트워크 기술과 연계함으로써 우리들이 추구하는 네트워크를 통한 사람의 능력 확장을 효과적으로 실현할 수 있을 것이라고 본다.

docomo Open House'22(2022년 1월17~19일 개최)는 NTT도코모의 인간 확장 기반과의 연계 상황을 가시화한 전시로, 운동 능력 전사 기술로는 액티브 생체 음향 센싱을 이용한 센싱을 실시, 다른 사람의 손과 로봇으로 재현했다. 

숙련자의 손가락 움직임으로 피아노 연주를 실제로 연주하는 퍼포먼스를 공개. 신체지 기술로는 프로 윈드서퍼의 기술을 초심자나 아마추어도 체험할 수 있는 신체 감각 시뮬레이션을 공개했다. 많은 관객들이 NTT연구소와 NTT도코모의 미래 연대라는 형태를 체험할 수 있었다.

앞으로는 6G의 초저지연성 등을 활용해 실시간으로 사람의 능력을 확장하는 것을 실현하기 위한 NTT도코모와의 연대와 또 다른 외부 파트너와의 연대를 통해 리모트 월드 실현을 목표로 보다 가치가 높은 기술 검토를 추진해나갈 방침이다.

-- 앞으로의 전망 --
새로운 '리모트 월드' 실현을 위해 NTT는 새로운 유저 체험으로서 사람의 능력 확장, 특히 운동에 있어서의 기능 및 신체 기술을 시간과 장소에 관계 없이 전달·공유하기 위한 연구개발을 위해 객관적 측면과 주관적 측면에 착안한 프로젝트를 추진하고 있다. 미래에는 이러한 기술들을 조합하고, 더 나아가 외부 파트너와의 연대를 통해 보다 높은 가치의 기술을 제공할 수 있도록 검토해나가겠다. 

 -- 끝 --