AI/로봇·드론/VR·AR

Nikkei Electronics_2023.1 Emerging Tech (78~83)

Digital Twin
디지털 트윈, 현실과 가상이 일체화 되는 세계
도쿄대학, 히타치, 다케나카(竹中)도 도전

생활 지원 로봇이나 ‘메타버스’가 일상에 보급되는 세계가 바로 눈 앞에 다가오고 있다. 앞으로는 로봇이 청소뿐만이 아니라, 모든 가사와 돌봄 등을 지원하게 된다. AR(Augmented Reality)안경을 통해 제품의 3D 모델을 보여주면서 진행하는 매매 상담도 일상화될 것으로 보인다.

하지만, 현재 개발되고 있는 시스템은 용도별로 한정되어 있다는 것이 과제이다. 예를 들어, AR 시스템에서는 사람의 눈에 위화감 없이 가상 물체를 표시하기 위해 주변 물체의 위치 및 바닥면 등을 센싱하지만, 이 센싱 데이터는 AR 애플리케이션에서만 소비된다. 로봇도 이동하기 위해 장애물을 탐지하는데 이 데이터도 로봇의 이동에만 쓰인다.

모든 센서로부터의 실시간 데이터와 빌딩 내부 등의 3차원 공간 정보를 한 곳에 모아 다양한 용도로 활용할 수 있게 된다면 다양한 애플리케이션이 생겨나지 않을까? 이러한 발상 아래, 도쿄대학과 히타치제작소(日立製作所), 다케나카공무점(竹中工務店) 등이 공통 플랫폼 ‘커먼 그라운드(Common Ground)’의 사회 구현에 도전한다.

게임 엔진을 기반으로 다양한 차세대 기술 영역에서 공통으로 사용할 수 있는 ‘신세계’ 창출을 목표로 하고 있다.

“확실히 게임 화면과 똑같다." 문을 열고 들어서자 가장 먼저 눈에 들어온 거대 스크린을 보고 기자는 무심코 이렇게 말했다. 이곳은 히타치제작소 연구개발그룹의 사무실. 공통 세계 플랫폼 ‘커먼 그라운드’를 구현한 실험장이다.

기존의 게임 화면과 다른 점 중 하나는 현실세계 사물의 위치와 화면 상의 위치가 세밀하게 대응한다는 점이다. 현실세계에서 인물이 움직이면 화면 상에서도 이에 대응한다. 의자 같은 물건이나 로봇 등의 이동체도 마찬가지다.

“로봇을 이리로 불러 봅시다”. 히타치제작소 디지털플랫폼 이노베이션센터 데이터 매니지먼트 연구부의 효도(兵頭) 유닛리더는 기자의 앞에서 이렇게 말하며 손을 들었다. 그러자 바로 사무실 구석에 있던 퍼스널 모빌리티가 다가왔다.

퍼스널 모빌리티 제품 중에는 환경을 인식하는 센서나 경로를 계산하는 컴퓨터를 내장해 자율주행을 할 수 있는 것도 있다. 하지만, 이번 데모에서는 퍼스널 모빌리티에 탑재된 센서는 사용되지 않았다.

사무실 곳곳에 놓인 카메라 영상을 커먼 그라운드 시스템에 접목해 사무실 내부 상황을 실시간으로 파악하고 있었다. 사람의 몸이나 손의 움직임을 통해 ‘부르고 있다’라고 시스템이 판단하고, 퍼스널 모빌리티의 동작 경로를 산출해 효도 유닛리더에게 가도록 한 것이다.

-- 엣지 측에서 환경 측의 인식으로 --
이 커먼 그라운드 구상은 도쿄대학 생산기술연구소의 도요타(豊田) 특임교수가 제창했다. 히타치제작소와 다케나카공무점 등 21개 조직이 참가한 ‘커먼 그라운드 리빙 랩’과 공동으로 사회 구현을 목표로 하고 있다.

이 플랫폼의 강점은 현실세계의 실시간 상황을 넓은 시야에서 정밀하게 파악함으로써 다양한 용도로 활용할 수 있다는 점에 있다.

구체적으로는 이하와 같은 활용을 전망할 수 있다. (1)센서가 탑재되지 않은 로봇도 자유자재로 이동 (2)'점포에서 방문 앞까지’를 배송 로봇이 실현 (3)사물의 어포던스(Affordance, 행동유도성)의 태그 부착 (4)원격지에서도 그 자리에 있는 것처럼 교류하는 등이다.

(1)로봇이 자유자재로 이동할 수 있게 되는 것은 커먼 그라운드가 탑재된 공간에서 환경인식 능력과 판단 능력이 확장되기 때문이다. 로봇에 탑재된 센서가 아닌 공간에 설치된 센서로부터 집약한 공간 및 위치 정보 데이터를 로봇이 사용할 수 있게 된다.

또한 커먼 그라운드는 로봇 등의 전체 최적화와 개별 최적화를 제어하는 AI(인공지능)이 탑재된다. “이것이 없으면 최종적인 가치는 나오지 않는다”(도요타 특임교수)라고 하는 중요한 기능이다. 커먼 그라운드의 AI는 주위 상황을 상세하게 파악하면서 로봇이 협조할 수 있도록 제어할 수 있다. 예를 들어, 쓰러질 것 같은 사람이 있을 경우, 로봇이 달려가 돕도록 하는 등의 지시가 가능하다.

(2)의 배송 로봇이 점포에서 방문 앞까지 화물을 전달하는 ‘라스트 원 마일’ 배송도 실현할 수 있다. 지금까지도 자율이동형 배송로봇에 대한 공공도로나 건물 내부 등 실내외에서의 실증실험이 진행되고 있다. 하지만, “실내와 실외를 심리스로 연결할 수 있는 시스템 구축은 어려웠다””(도요타 특임교수).

공공도로 주행 로봇은 지도 데이터나 위치정보 데이터를 사용해 야외에서의 이동은 가능하지만, 각 건물의 내부 지도 데이터는 구하기 어렵다.

결과적으로 공공도로 주행 로봇은 건물 부근의 정해진 곳까지 배송할 수 있지만, 거기서부터는 사람이 화물을 찾으러 가야 하는 상황에 머무르고 있다. 커먼 그라운드는 국토교통성이 주도하는 3D 도시 모델 ‘플라토(PLATEAU)’ 등과 연계함으로써 방문 앞까지의 배송을 실현할 수 있도록 한다.

(3)사물 정보의 태그 부착은 돌봄 및 생활 지원 로봇과 같은 사람의 생활에 도입되는 로봇에게 혁신적인 기능이 될 것이다.
 

지금까지의 로봇은 예를 들어, 컵을 보고 '물을 따르는 것'이라고 인식하거나, 문을 보고 '문고리를 돌리면 열린다' 등으로 인식하기 어려웠다. 게임 엔진 상에서는 사물 측에 그 속성을 기술할 수 있기 때문에 이러한 ‘어포던스’를 로봇 측에 전달할 수 있다. “로봇이 컨텍스트(문맥)를 이해하고 행동할 수 있게 된다”라고 효도 유닛 리더는 말한다.

마지막으로 (4)는 리모트 회의나 리모트 교육, 엔터테인먼트 영역 등에서의 활용을 전망할 수 있다. 커먼 그라운드가 탑재된 서로 떨어진 위치에 있는 공간 간에 교류하는 방법이다. 공간에 배치된 ToF(Time of Flight, 측거) 센서와 카메라를 사용해 사람의 행동과 손짓 등을 세밀하게 실시간 인식한다.

떨어진 위치에 있어도 리얼하게 재현할 수 있기 때문에, “예를 들면 일본과 파리, 르완다에 있는 3자가 위치 관계 및 공간성을 이해하면서 대화할 수 있다”(도요타 특임교수)

-- 게임 엔진을 통한 패러다임 전환 --
커먼 그라운드는 건축공간의 3D 모델인 BIM(Building Information Model)과 같은 기존 공간(지오메트리) 데이터에 실시간 데이터를 조합해 게임 엔진과 AI를 사용해 가동된다.  히타치제작소의 실증에서는 BIM 데이터를 사용해 공간을 재현. 카메라와 ToF 센서를 조합해 실제 세계의 사람 및 물건의 위치를 반영시켰다.

하지만 “많은 인원이 각자 자율적인 존재로서 동시에 움직이는 모습을 묘사하는 것은 지금까지 통신 성능 상 어려웠다”라고 도쿄대학의 도요다 특임교수는 말한다. 이를 해결하기 위해 미국 에픽게임즈(Epic Games)의 '언리얼 엔진 4(Unreal Engine 4)'와 같은 3D 공간 기술 게임 엔진을 응용했다.

많은 인원이 동시에 행동하는 상황에서의 효율적인 계산 처리는 게임 엔진의 ‘18번’이다. 또한 사람의 몇 초 후의 행동을 예측할 수 있다는 점도 장점이다.

행동 예측은 지금까지의 디지털 트윈이 가진 과제 해결로도 이어질 가능성이 있다. 사람이나 사물의 몇 초 후의 움직임을 예측하면 통신 성능이 충분하지 않은 경우에도 실시간성을 담보할 수 있기 때문이다. 지금까지의 디지털 트윈은 통신 및 처리 성능에서 실시간 갱신이 어려운 상황이 있었다.

플레이어의 몇 초 후의 행동을 예측하는 기능은 일부 온라인 게임에서 구현되고 있다. 통신 시간 지연(러그)을 보충함으로써, 통신 성능이 좋지 않은 경우에도 대결 게임 등에서 다른 플레이어가 실시간으로 통신하고 있다는 생각이 들도록 하기 위해서이다. 게임을 즐길 때의 위화감을 줄일 수 있다.

커먼 그라운드에 이 기능을 응용하면 사람의 움직임에서 로봇의 행동 경로를 설정하는 등에도 도움이 된다. 실제 사람의 움직임과 경로가 달랐을 경우에도, ”사람이 알아차리지 못하는 사이에 수정할 수 있다”(도요타 특임교수)라고 한다.

-- 앱으로 수익을 내는 비즈니스 모델 --
커먼 그라운드 리빙랩이 목표로 하는 것은 오픈 플랫폼으로서 “누구나 액세스 가능하고, 모든 기업의 센서 사양에도 대응”(도요타 특임교수)하는 커먼 그라운드를 구현하는 것이다. 하지만 오픈 플랫폼이기 때문에 비즈니스 모델 확립은 과제이다.

도입 측의 이점으로는 낮은 센서 비용으로도 로봇이나 가상공간을 포함한 전체 제어를 할 수 있다는 점을 들 수 있다. 고성능 센서를 탑재하는 로봇이 불필요하며, 공간에 센서를 배치하는 것만으로도 가능하다. “센서 코스트는 1/3 정도 절감할 수 있다”라고 효도 유닛리더는 말한다.

도입처로는 로봇 개발, 건설업, 제조업, 교육 분야, 엔터테인먼트 분야 등 다양하게 상정할 수 있다. 로봇의 운용 필드나 원격지와의 리얼한 커뮤니케이션 등의 활용뿐만 아니라, 기존의 디지털트윈과 같은 업무 효율화를 위한 시뮬레이션에도 대응한다. “플랫폼은 공통화하고 앱으로 수익을 낼 수 있는 스탠스”(도요타 특임교수)이기 때문에, 향후에는 실용적인 앱을 얼마 만큼 전개할 수 있을 지가 중요해질 것이다.

다케니카공무점은 커먼 그라운드를 통해 건설업계 이외의 기업도 앱을 개발하기 쉽다는 점을 강조한다. “지금까지 BIM과 같은 건축 공간 데이터는 업계 외에는 이해하기 힘들고 활용하기 어려운 경향이 있었다. 커먼 그라운드에서는 게임 업계 등 다른 업종의 사람도 알 수 있는 데이터 교환이 이루어지기 때문에 개발하기 쉬울 것이다”라고 다케나카공무점의 마사이(政井) 정보 엔지니어링 본부장은 말한다.

커먼 그라운드 리빙 랩은 향후, 우선 첫 번째 활동 목표로 2025년에 개최되는 '2025년 일본 국제 박람회(오사카 간사이 엑스포)'를 내다보고 있다. “아직 정식으로 결정되지 않았지만, 아바타 로봇을 사용한 엔터테인먼트 분야에서의 실증을 위해 움직이고 있다”(도요타 특임교수)라고 한다.

“예를 들면, 1970년 오사카 엑스포에서 일했던 전 도우미가 원격지에서 아바타 로봇을 조작해 박람회장을 안내하는 것과 같은 것이다. 커먼 그라운드를 사용하면 공간 인식을 확장하면서 조작할 수 있다.

-- GAFA도 같은 방향으로 움직이기 시작 --
도요다 특임교수 등은 오사카 간사이 엑스포 등에서 수요를 모색하면서 협업처를 늘려나갈 계획이다. 하지만 보급을 위해 남겨진 시간은 그리 길지 않다. 미국의 거대 IT기업들이 이미 움직이기 시작했기 때문이다. “미국에서 발표했을 때 미국의 GAFA나 Autodesk, 매사추세츠공과대학 등이 “커먼 그라운드와 같은 구상을 생각하고 있다”라며 놀라워 했다”라고 도요타 특임교수는 밝힌다.

커먼 그라운드라는 일본 발 공통 세계 기반 구상은 이러한 기업들에 맞서 에코시스템을 확립할 수 있을까? “(세밀한 공간 데이터인) BIM 데이터를 보유한 곳은 건설기업이다. IT업계에 머무르지 않고, 다양한 데이터를 보유하는 기업들이 참가하고 있다는 점은 강점이라고 생각한다”라고 다케나카공무점의 마사이 본부장은 주장한다.

“Autodesk와 같은 기업들이 커먼 그라운드 구상에 관심을 보이고 있어, 앞으로 일본 기업뿐 아니라 해외 기업들도 (커먼 그라운드의 테두리 안으로) 들어올 가능성이 있다”라며 기대감을 나타냈다.

-- 끝 --

Copyright © 2020 [Nikkei Electronics] / Nikkei Business Publications, Inc. All rights reserved.