일본산업뉴스요약

Nikkei X-TECH_2023.11.17

첨단기술 뉴스 플러스
대규모 언어모델로 로봇의 한계 돌파
NTT, 생활 지원 상황을 시연

NTT는 2023년 11월 14~17일에 개최한 ‘NTT R&D FORUM 2023’에서 NTT가 자체 개발한 대규모언어모델(LLM) ‘tsuzumi’를 로봇에 적용함으로써 사람의 생활을 지원하는 데모를 선보였다.

LLM이 학습을 통해 로봇의 움직이는 방식을 이해하고, 동시에 사람의 신체성이나 행동, 주변 상황을 이해함으로써 스스로 행동 계획을 생성해 로봇을 실시간으로 제어한다. 이를 통해 로봇이 장면에 따라 사람이 원하는 물리적 작업을 자발적으로 할 수 있게 된다고 한다.

또한 사람이 목소리로 하는 애매한 지시에 대해서도 LLM이 현장의 상황을 이해하고, 유저의 요구 사항을 유추해 작업하는 것도 특징이다.

예를 들면, 어린 여자아이가 손이 닿지 않는 선반 위의 공으로 “놀고 싶다”라고 말했다고 하자. LLM은 카메라와 센서의 정보를 통해 “여자아이가 선반 위의 공을 가지고 놀고 싶지만 손이 닿지 않는다”라고 주변 환경을 인지하고, “내가 공을 잡겠습니다”라고 발화한다.

그리고 자신(로봇)의 신체 감각을 상황과 연결시킨다. 예를 들면, ‘선반까지의 거리는 3m’ ‘내 키와 선반 높이는 비슷하다’ 등이다. 마지막으로 '선반 위치까지 3m 걷고, 양손을 머리 높이까지 올려 감싸듯 공을 잡는다'는 등 행동 계획을 생성해 로봇을 움직인다.

여기서는 선반의 높이나 공의 위치와 같은 주변 환경, 여자아이의 키나 손의 길이와 같은 주위 사람의 신체 정보를 LLM에 입력하고, LLM의 출력으로 로봇을 제어하고 있다. tsuzumi는 학습시에 이용하는 변수의 규모를 나타내는 파라미터수가, 미국 오픈AI의 ‘GPT-3’ 등 타사의 LLM과 비교해 월등하게 작고 가볍기 때문에 종래의 LLM에서는 어려웠던 로봇의 실시간 제어가 가능해진다고 한다.

-- 로봇이 스스로 생각하고 배식 --
행사장에서는 사용자의 모호한 지시로 tsuzumi를 적용한 암이 장착된 로봇을 제어하는 데모를 선보였다.

부스 설명원이 "건강한 식사를 준비해 주세요"라고 음성으로 지시를 내리자 로봇이 눈앞에 늘어선 여러 요리에서 샐러드, 생선구이 등을 차례로 골라 배식을 하는 시연이다. 어떤 음식이 건강에 좋은지에 대해서는 사전에 학습을 마쳤지만, 어떤 음식을 어느 순서대로 고를지 등은 tsuzumi가 주변 상황을 보면서 생각하고 있다고 한다.

로봇에서 LLM를 활용하기 시작한 것은 아직 얼마 되지 않았지만, NTT는 장기적으로 기존의 로봇으로는 어려웠던 ‘학습하지 않은 상황에서의 대응’을 실현할 수 있을 가능성이 있다고 한다. 구체적으로는 물체의 딱딱한 정도에 따라 힘을 가했을 때의 신체 감각을 학습하고, 학습하지 않은 물체를 집는 방법이나 사용법을 추정해 실천한다.

예를 들면, 가위나 병따개 등을 로봇이 학습하지 않고도 사용할 수 있게 되거나 미묘한 힘 조절이 필요한 농작물의 수확에 로봇을 사용할 수 있게 된다고 한다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.