일본산업뉴스요약

Nikkei X-TECH_2023.3.2

협동로봇과 사람의 공동 작업을 디지털화
도요타와 실증시험으로 생산성 15% 향상

인력 부족을 해소하기 위해 로봇만으로 생산라인을 자동화하고 싶지만 부드러운 물건을 다루는 작업 등 로봇에게는 어려운 작업 때문에 완전한 자동화는 불가능하다. 그리고 협동로봇을 도입해 사람과 로봇이 혼재하는 ‘반자동화’를 진행하려고 해도 협동로봇의 동작 속도가 느리기 때문에 생산성이 오르지 않거나 여러 센서가 필요해 비용이 증가한다.

이런 고민을 안고 있는 제조 현장은 많다. 그러한 과제에 대응하기 위해 산업기술종합연구소(이하, 산총연)는, 디지털 트윈을 활용해 생산성 향상과 안전성 확보를 양립하면서 작업자와 협동로봇이 공동 작업을 하는 ‘반자동화’를 실현하기 위한 시스템을 개발했다.

도요타자동차의 협력을 얻은 모의 생산공장에서의 부품 공급 작업의 실증시험에서는 시스템 도입 전에 비해 생산성이 최대 15% 향상되었고 작업자의 부담이 약 10% 줄었다고 한다.

이 시스템에서는 작업자와 로봇이 작업하고 있는 환경을 관측해 작업자의 움직임과 신체에 가해지는 부담, 작업자와 로봇의 간격 등 안전 환경을 가상공간에서 실시간으로 해석한다. 작업자의 부담을 줄일 수 있도록 협동로봇에게 다음 작업을 지시하거나 협동로봇이 서투른 작업은 최대한 작업자에게 할당한다.

-- 카메라로 촬영한 영상과 데이터베이스에서 인체 모델을 생성 --
이 시스템의 특징은 크게 3가지다. (1) 로봇뿐만 아니라 작업자의 움직임이나 부담을 실시간으로 추측할 수 있다, (2) 작업자와 로봇의 움직임 등 시뮬레이션에 심층학습(딥러닝)이 필요 없다, (3) 작업자의 의복에 센서를 부착할 필요가 없다. 이처럼 저비용으로 실현할 수 있는 것이 특징이다.

산총연이 개발한 인체 시뮬레이션용 ‘DhaibaWorks’를 기반 소프트웨어로 한다. 이 밖에 렌치 파악이나 나사 픽업 등의 작업에 맞춘 해석용 플러그인을 필요에 따라 인스톨한다. 일반적으로 사용되는 노트북에서 동작한다. 이번 실증실험에서는 그래픽보드 등을 강화한 게임 PC를 이용했다.

디지털 트윈을 구축하기 위해 우선 DhaibaWorks로 인체 모델을 생성한다. 주요 생성 방법 3가지다. (1) 카메라로 촬영한 작업자의 영상을 바탕으로 유사한 인체 모델을 생성하는 방법, (2) 작업자의 체형을 측정해 인체 모델을 생성하는 방법, (3) 3차원 바디 스캐너를 이용해 계측한 표피의 고밀도 점군으로부터 인체 모델을 생성하는 방법이다.

인체 모델 생성에는 산총연이 이미 구축한 일본인 체격 데이터베이스를 이용한다. 이 데이터베이스는 신장과 팔다리의 길이, 무게 등의 데이터를 갖고 있어, 사람 몸에 부착한 반사 마커나 LED 마커 등의 위치를 계측하는 모션 캡처 등의 데이터를 이용해 인체 상동(homology) 모델을 생성할 수 있다.

“모션 캡처가 아니더라도 영상으로부터 사람의 3차원 전신 운동을 추정하는 심층학습 베이스의 동작계측 기술로 대체할 수 있다”(산총연 정보/인간공학영역 인공지능연구센터의 마루야마(丸山) 주임 연구원).

사전에 제조 현장의 랙(rack)이나 컨베이어 등의 CAD 데이터를 DhaibaWorks에 도입한다. 로봇의 모델은 로봇 제어/가시화용 시스템(Robot Operating System, ROS)으로 생성.

|이로써 작업자와 로봇이 공존하는 제조 현장의 디지털 트윈이 구축된다. 디지털 트윈 내에서 로봇의 움직임을 제어하기 위해 ROS와 DhaibaWorks의 양방향 통신을 실시간으로 수행하는 DhaibaWorks의 플러그인을 이용한다.

제조 현장의 천장 부근에 설치한 16대의 카메라로 작업자와 로봇을 촬영한다. 그 영상을 바탕으로 작업자와 로봇과의 간격을 계측. 워크를 집거나 보행하는 작업자의 부담을 추측한다. 작업자의 인체 모델은 전신의 근골격 모델을 가지고 있으므로 작업자의 영상을 바탕으로 워크를 잡고 들어올렸을 때의 근육의 움직임이나 관절 토크 등을 계산/평가한다.

즉, 센서를 의복 등에 부착하지 않고도 작업자에게 가해지는 부담을 시뮬레이션 할 수 있다. 그리고 촬영에 필요한 카메라 대수는 촬영 현장의 넓이나 모양 등에 따라서 다르다. 이번에는 모션 캡처용 카메라를 사용했다. 동영상 촬영이 가능하면 통상의 RGB 카메라도 사용할 수 있다. 특별히 고해상도일 필요도 없다.

-- 도요타의 공장을 재현 --
실증시험에서는 도요타자동차 공장에서 실제 진행하고 있는 부품 공급 작업을 재현했다. 성인 남성이 돌아다니며 부품을 피킹하는 작업의 부담을 해석. 작업자의 부담을 경감하면서 생산성 향상을 도모하는 시뮬레이션을 실시했다.

로봇이 사이즈나 모양이 다른 다품종 부품을 취급하는 것이 어려웠기 때문에 전자(電磁) 흡착 핸드를 채택. 전자 흡착에서의 물리 모델을 고려한 독자적인 피킹 방식을 고안해, 일반적인 핸드로는 다루기 어려운 다양한 사이즈와 모양의 부품을 피킹할 수 있도록 했다.

촬영한 영상과 링크한 디지털 트윈 상에서 작업자(인체 모델)의 움직임을 해석. 팔을 뻗어 무거운 부품을 들어야 하거나 허리를 깊게 숙여야 하는 등 신체에 부담이 가는 작업은 로봇이 담당하도록 로봇에게 지시한다.

반대로 로봇에게는 어려운 로프 형태의 부품이나 복잡한 모양의 부품은 작업자가 담당하도록 할당한다. 로봇이 작업자를 보조할 뿐만 아니라 로봇의 약점을 작업자가 보완하는 상호 보조가 가능하다.

이러한 실시간 해석과 예측에 기초한 작업 계획을 실행. 실증실험에서는 시스템 도입 전에 비해 같은 작업자가 협동로봇과의 공동작업으로 작업을 완료하는데 필요한 시간을 10~15% 단축. 작업 시 자세에 따라 작업자의 허리와 어깨에 가해지는 관절 토크 추정량을 약 10% 줄일 수 있다고 확인했다.

이번에는 작업자가 1명, 로봇이 1대인 케이스로 실증실험을 진행했는데 여러 작업자와 로봇으로도 시뮬레이션이 가능하다. 작업자나 로봇의 수가 늘어날수록 동시에 다수의 계산을 수행하게 되어 DhaibaWorks를 기동하고 있는 컴퓨터의 부담이 커진다.

어떤 레벨의 시뮬레이션을 실시하는지에 따라 다르지만 하드웨어의 스펙이 문제되는 경우도 생각할 수 있다. “다만 인공지능(AI)을 사용해 심층학습을 할 필요도 없어 저비용으로 끝난다”(산총연 임해부도심센터 도마에(堂前) 팀장).

“이번에는 성인 남성 작업자를 대상으로 실험했는데 고령자나 장애인이 작업자인 경우에도 사용할 수 있도록 하는 것이 과제다”(산총연의 도마에 팀장).

또한 ‘DhaibaWorks’ 및 ROS와 제휴하기 위한 플러그인 ‘DhaibaConnect’는 이미 제공을 시작했다(산총연과의 지적재산 계약이 필요). 로봇의 인식이나 효율적인 스케줄 작성 등에 대해서는 산총연에 개별적으로 상담해야 한다.

-- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.