AI/로봇·드론/VR·AR

Nikkei Robotics_2021.6 Cool Topic (p3-9)

건설현장 로봇의 자율이동 기술 개발
PFN과 가시마, 심층학습 활용하여 우선은 청소로봇 투입

인공지능(AI) 개발 벤처기업 Preferred Networks(PFN)와 가시마는 고층 빌딩의 건설현장 등 복잡한 환경에서 로봇을 자율 이동시키는 기술 ‘아이노(iNoh)’를 개발했다.

PFN이 보유한 심층학습 기술을 활용해, 주위의 3차원 형상을 인식하거나 현장 내에서 왔다갔다하는 사람이나 고소작업차, 바닥에 놓인 자재 등을 검출해서 동적으로 회피할 수 있다. 가시마의 건설현장에서 10만 장의 이미지를 수집하고, Deep Neural Network를 학습시켰다.

자율이동 기술인 iNoh를 활용해, 우선은 응용 제1탄으로서 청소 로봇 ‘라쿤(raccoon)’를 개발했다. 현장 내에서 진입 금지 구역 등을 설정하지 않아도 작업자가 있는 환경에서 안정적으로 청소 작업을 한다. 골조 공사가 종료된 후의 내장 공사나 설비 공사 단계에서 이용하는 것을 상정하고 있다.

수도권에 있는 가시마 건설현장 10곳 정도에서 테스트를 실시했다. 가까운 시일 내에 본격 가동을 목표하고 있다. 또한 명칭인 iNoh는 현장을 알고 있다(I know)라는 의미와, 에도시대에 일본 지도를 만든 인물 ‘이노 다다타카(伊能 忠敬)’에서 유래했다.

-- 장해물이 많은 건설현장 --
일반적으로 준공 후의 고층 빌딩 안을 차륜형 로봇이 자율이동하는 것은 특별히 어려운 일이 아니다. 이미 많은 청소 로봇이 실용화되어, 오피스빌딩이나 상업시설 등에서 운용되고 있다. 자율이동을 위한 SLAM 기술도 실용 수준으로 완성되었다. 최근에는 로봇이 엘리베이터에 자동으로 탑승하는 시스템도 점차 완성되고 있다.

그러나 같은 빌딩이라도 그곳이 건설 중이라면 이야기가 조금 달라진다. 건설 중인 빌딩은 바닥에 공사용 전원 케이블 등이 깔려 있기도 하고, 자재가 놓여 있는 등 장해물이 많다. 골조 공사가 끝난 직후에는 바닥에 큰 구멍이 뚫려 있는 경우도 있다. 배관이나 엘리베이터 등을 설치하기 위한 것이다. 이들 개구부는 작업자의 추락을 방지하기 위해 임시 손잡이를 설치하는데, 로봇이 안전하게 자율이동하기 위해서는 이러한 손잡이도 완벽하게 인식할 필요가 있다.

PFN과 가시마가 개발한 청소 로봇 라쿤은 하드웨어적인 이동 능력 면에서는 정통적인 능력을 보유한다. 하지만 주위 환경을 인식하는 소프트웨어적인 능력을 월등하게 높인 로봇으로, 자율이동 로봇을 건설현장에서 실용할 수 있도록 한 점에 의의가 있다.

양사의 협업은 당초에는 로봇을 전제로 한 것은 아니었다. 협업을 시작한 것은 2018년. PFN의 간부가 가시마의 사원과 아는 사이였고, 무언가 함께 할 수 있는 것이 없을까라는 생각에서 공동연구가 시작되었다. 처음에는 서로의 대응책을 소개하거나 가시마의 건설현장을 PFN이 견학하거나 했다.

그리고 가시마 측이 자사 건설현장에서의 기술 과제 지도를 보여주고, 그 중에서도 이미지인식∙해석 기술을 더 많이 활용할 수 없을까라는 문제 의식을 PFN 측에 전달했다. “건설현장에서는 xyz의 3차원 좌표가 자주 필요하다.

옥외라면 GPS를 사용하면 되지만, 빌딩 내에서 자기 위치를 더욱 쉽게 취득할 수 있는 기술이 필요했다. 사람의 경우는 눈으로 보면 자신의 위치를 바로 알 수 있다. 이와 같은 일을 이미지 기술로 실현하고 싶다고 생각했다”(가시마 건축관리본부의 고가(古賀) 과장).

그 후, 19년 5월에는 자기위치추정이나 자율이동을 공동연구 테마로 결정하고, 구체적인 기술 개발에 착수했다. 20년에 들어서부터 개발한 자율이동 기술의 첫 응용처로 청소 로봇을 선정하고, 이번 실증시험에 이르렀다.

-- 환경을 10개 이상의 카테고리에서 인식 --
청소 로봇은 기존의 청소기를 베이스로 개조했다. 전면에 어안렌즈 RGB 카메라, 3차원 LIDAR, 2차원 LIDAR, 거리이미지 센서를 탑재했다. 또한 바깥 둘레에는 4개의 초음파 센서, 바닥의 둔턱 등을 보는 ToF형 적외선 센서 5개, 앞뒤에 범퍼 센서 등을 탑재했다.

이들 중 주변 환경을 인식하는 데 주로 사용하는 것은 RGB 카메라와 3차원 LIDAR다. 초음파 센서나 적외선 센서는 인식시스템과는 독립되어 있다. 사람 등과의 충돌을 회피할 수 있도록, 페일 세이프(Fail-Safe)를 위해 이용하고 있다. “가시마 측에서 리스크 어세스먼트를 한 결과, 충돌 등에 만전의 대비를 할 수 있도록 초음파 센서나 적외선 센서를 추가하기로 결정했다”(가시마 고가 과장).

라쿤은 언뜻 보면 SLAM 기능을 갖춘 일반적인 옥내용 이동 로봇처럼 보인다. 그러나 앞에서도 말했듯이 복잡한 건설현장에 대응하도록 심층학습 기술을 통해 인식계를 대폭 강화시킨 점이 최대 특징이다.

SLAM 기능에 대해서도, 옥내용 로봇에서는 일반적인 바닥 위 10~수십cm 정도 높이의 2차원 LIDAR만을 이용한 것이 아니라 각종 센서 정보를 통합해서 3차원 지도를 만드는 것이다. 화각 약 200도의 어안렌즈 RGB 이미지에 대해 심층학습 기술을 통해 semantic segmentation도 실장하고 있다.

때문에 단순히 3차원 SLAM으로 주위 형상을 인식하며 전진하는 것만이 아니라, 보이는 영역이 천장인지, 바닥인지, 장해물인지 등 의미적인 라벨을 화소 단위로 식별, 그 결과를 바탕으로 행동을 결정한다. 식별 라벨은 10종류 정도다. 위에서 언급한 것 외에 사람이나 고소작업차, 기둥 등도 식별한다. 인식한 카테고리 별로 회피 행동을 바꾼다고 한다. 장해물에 대해서는 검출하면 그것을 우회하도록 행동한다.

-- 심층학습으로 단안 depth 추정 --
DNN(Deep Neural Network)은 semantic segmentation뿐 아니라 3차원 공간의 구조 인식에서도 이용하고 있다. 3차원 재구성에서의 DNN 이용은 다양한 형태가 있지만, 라쿤의 경우는 어안 RGB 카메라에서 단안으로 depth 추정을 하기 위해 DNN을 이용하고 있다.

RGB 이미지는 단안 depth 추정에 사용함과 동시에 일반적인 direct형(특징점 리스) visual SLAM도 병행해서 실장하고 있다. 그리고 “어안 카메라, LIDAR, IMU, 이 3개의 수단을 통해 얻어진 정보를 통합해서 동시 최적화하고 있다”(PFN 비즈니스개발부 사루타(猿田) 매니저).

LIDAR로 얻은 점군을 지도 측과 대응시킬 때는 ‘NDT(Normal Distribution Transform)’처럼 복셀의 통계 분포 파라미터를 산출하고, 그 분포끼리 비교하고 있다. 또한 점군의 곡률을 바탕으로 엣지인지, 면인지도 판단하고, 그 정보도 비교에 사용하고 있다.

-- 자율학습과 지도학습을 병용 --
단안 depth 추정을 위한 DNN에서는 학습방법을 연구했다. 라쿤은 중국 Livox Technology사의 3차원 LIDAR ‘Horizon’을 탑재하고 있으며, 어안 카메라와 마찬가지로 전방을 향하고 있어 화각은 겹친다. 그래서 LIDAR의 화각과 겹치는 영역에 대해서는 LIDAR로 얻은 거리값으로 DNN을 지도학습(Supervised Learning)한다.

 LIDAR의 화각 외 영역에 대해서는 자율학습(Unsupervised Learning)을 한다. 손실함수에서 2종류의 오차 정보를 가중치를 부여해 이용하고 있다.

개발 단계에서는 데이터 수집용 대차를 만들고, 그 대차에 4개 정도의 LIDAR를 탑재해 건설현장에서 점군을 취득해 교사 데이터로 했다. 라쿤 자체에는 3차원 LIDAR는 1개밖에 탑재하지 않았기 때문에 추론 시에는 그 화각 내에서는 DNN에 의한 추론치보다도 LIDAR를 통한 계측치를 우선하도록 하고 있다.

단안 depth 추정에서 DNN을 자율학습시키는 어프로치는 최근에 주목을 받고 있고, 정밀도도 크게 향상되었다. 많은 기업이 착수하고 있지만, 그 중에서도 구글이 개발한 방법이 유명하다. 본지에서도 21년 2월호와 19년 7월호 등에서 자세하게 소개했다.

기본적인 아이디어로서는 프레임 간의 운동 시차를 이용하는 Structure from Motion(SfM)과 닮았다. 어떤 프레임에서 얻은 점군을, 카메라 자세의 이동량(DNN 등으로 추정)을 바탕으로 별도의 프레임으로 변환하고, 거기서 2차원으로 투영. 변환처의 실제 프레임과의 오차를 잡는다.

이 오차를 통해 depth 추정용 DNN을 학습시키는 것이다. 지도학습이기 때문에 어노테이션(Annotation) 등은 불필요하며 대량의 학습 데이터를 확보하기 쉽다. 실제로 PFN과 가시마는 이 지도학습을 위해 건설현장에서 10만 장의 이미지를 수집했다.

또한 semantic segmentation용 DNN에서는 수만 장의 이미지를 학습에 이용했다. semantic segmentation은 어안렌즈 RGB 카메라뿐 아니라 주변을 비추는 좌우 2쌍의 거리이미지 센서의 RGB 이미지에 대해서도 시행하고 있다.

-- 경로 계획은 2차원으로 --
단안 depth 추정이나 3차원 SLAM, semantic segmentation 등을 사용해 주위 환경을 인식한 후에는 로봇의 루트를 결정하는 경로 계획을 시행한다. 이 경로 계획에서는 3차원 지도를 일정 높이로 슬라이스한 2차원 평면에서 계획하고 있다. 계산량을 줄이기 위해서다.

semantic segmentation 등으로 얻은 장해물 정보 등을 가미해서, 경로를 계획하기 위한 코스트 맵을 작성. 그런 후에 비용이 낮은 장소를 통과하도록 루트를 생성한다. 앞에서 말했듯이 차체 외주에 있는 초음파 센서와 적외선 센서는 페일 세이프용이기 때문에, 이 코스트 맵에는 이들 센서의 정보는 반영하지 않는다.

라쿤은 청소 로봇이기 때문에 코스트 맵을 바탕으로 플로어 안을 빈틈없이 누비는 방침(complete coverage path planning)으로 루트를 생성해 나간다. 경로 생성 알고리즘은 ‘BA*(boustrophedon motions and the A* search)’를 이용하고 있다고 한다.

boustrophedon motions이라는 것은 밭을 경장할 때처럼 한쪽 벽을 따라서 평행으로 진행하다가 경계까지 오면 다시 되돌아서, 또 벽과 평행으로 진행하는 패턴을 말한다.

-- 도면 정보는 지금은 보조적으로 이용 --
건설현장의 경우는 로봇이 스스로 지도를 구축하지 않아도 원래 상세한 도면 정보를 갖고 있다. 단, 도면은 어디까지 완성 후의 건물을 나타내고 있기 때문에 건설 도중의 건물 상태와 반드시 일치하지는 않는다.

라쿤이 가동하는 내장 공사는 빌딩 내의 천장이나 바닥, 벽 등을 시공하는 단계이기 때문에 플로어 모양이 도면과 일치하지 않는 경우가 많다. 또한 현장에 있는 자재 보관 장소나 쓰레기, 바닥의 전원 케이블 등은 도면에는 기재되지 않는다.

그러나 라쿤에게는 도면을 입력하는 기능이 있다. 로봇이 작성한 지도와 도면을 겹쳐 위치를 맞추고, 청소하고 싶은 영역이나 목적지 등을 유저 측이 지정할 수 있도록 했다.

이번에는 iNoh의 자율이동 기술을 청소 로봇에 적용했지만 앞으로는 운반용 로봇 등 다른 건설현장용 로봇에도 탑재해 나갈 계획이다. 청소 로봇의 운용을 통해 얻은 이미지 데이터는 향후 학습 데이터로서도 활용한다.

 -- 끝 --

Copyright © 2020 [Nikkei Robotics] / Nikkei Business Publications, Inc. All rights reserved.