Nikkei Electronics_2018.4 특집요약(p47~51)

Emerging Tech
밀리미터파, 초음파로 동작 인식
AR 및 VR, 자동차, 로봇을 겨냥

게임을 계기로 보급한 동작 인식 기술이 AR 및 VR, 자동차, 로봇과 같은 새로운 분야로 확산되고 있는 가운데 기존과는 다른 새로운 동작 인식 기술의 제안이 잇따르고 있다. 시장에서 실적이 많은 ToF/SL 방식 이외의 다른 방식에도 등장, 기존보다 소비전력 및 비용을 낮추거나 계측 성능을 대폭 향상시키고 있다.

손짓이나 몸짓을 인식해 기기 조작에 이용하는 동작 인식 기술. 2010년 발매된 미국 마이크로소프트의 동작 입력 컨트롤러 ’Kinect(키넥트)’의 제품화를 계기로, 게임을 중심으로 확산되었다. 현재는 VR/AR의 어플리케이션에서의 이용을 상정, 해당 기술의 스마트폰 및 헤드 마운트 디스플레이(HMD)로의 탑재가 시작되고 있다.

뿐만 아니라, 동작 인식은 자동차의 운전석에서의 조작용으로 일부 차종에서 채택되기 시작해, 앞으로는 한층 더 확산될 것으로 보인다. 또한 스마트워치 등의 웨어러블기기 및 AI 스피커, 로봇에도 채택될 전망이다.

이러한 어플리케이션의 확대를 배경으로 새로운 동작 인식기술의 제안이 잇따르고 있다. 이 제안들은 기존보다 소비전력 및 비용을 삭감하거나 계측 성능을 대폭 향상시키고 있다. 지금까지 동작 인식으로 일반적인 ‘ToF(Time of Flight) 방식’ 및 ‘SL(Structured Light) 방식’과 같은 적외광원을 사용하는 방식을 비롯해, 최근에는 밀리미터파 및 초음파를 활용한 제스처 인식 기술의 제안이 등장하고 있다. 또한, 예전부터 스테레오 카메라 방식(스테레오 매칭)에 최근 눈에 띄게 진화하고 있는 심층학습을 조합한 방법이 제안되는 등, 선택지가 늘어나고 있다.

-- 초음파로 손짓을 인식 --
기존의 ToF 방식 및 SL 방식은 모두 높은 정밀도로 동작을 인식할 수 있지만, 적외광을 이용하기 때문에 발광 소자와 수광 소자 등의 광학 소자가 필요해 진다. 그 만큼 소비전력의 증가 및 비용 상승을 가져오기 쉽다. 제품화된 것들 중 대부분은 1W를 넘어섰으며 모바일 기기로는 큰 소비전력이다. 태양광 및 수분 등에 약하다는 과제도 있다.

밀리미터파 및 초음파, ‘스테레오 매칭 + 심층학습이라는 방식은 이런 과제가 적은 점을 어필하면서 계측 성능을 높여 보급을 노린다. 예를 들어 밀리미터파를 이용한 동작 인식 기술의 개발에 주력하고 있는 것이 독일의 Infineon Technologies이다. 당사는 손가락의 세세한 움직임(마이크로제스처)까지를 감지하는 동작 인식 기술을 발표하는 미국 구글의 연구 개발 프로젝트 ‘Project Soli(프로젝트 소리)’에 참여하고 있다.

밀리미터파 방식이라면 ToF 방식만큼은 정밀도가 높지는 않지만, 손가락의 미세한 움직임을 감지할 정도의 정밀도를 확보하면서, 강한 태양광 밑이나 안개 등으로 인한 습도가 높은 환경에서도 거리를 측정할 수 있다. 밀리미터파 레이더용의 트랜시버 IC의 제조에 CMOS 프로세스도 적용 가능하여 더욱 비용 절감에 적합하다는 특징이 있다.

Infineon이 동작 인식용으로 시작(試作)한 밀리 레이더용의 트랜시버 IC의 경우, 계측거리는 최대 10m이며, 거리 분해능력은 2cm로 높다. 이것은 57G~64㎓로 넓은 대역을 이용한 ‘FMCW (Frequency Modulated Continuous Wave)’ 방식으로 거리 분해 능력이 향상된 것이다. 소비전력은 100mW미만으로 작다.

외형측법이 12.5mm x 9mm x 0.8mm의 패키지 안에 트랜시버 회로에 더해, 송신용과 수신용의 안테나까지도 집적하고 있는 점이 특징이다. 이에 따라 “고주파뿐만 아니라, 일반적인 FR-R의 프린터 기판에 장착하여 시용할 수 있다”(Infineon)고 한다.

Infineon의 동작 인식용 밀리미터파 레이더 IC는 연구개발품으로 보급되고 있다. 2020년경의 실용화를 목표로 한층 더 소형화 및 집적화를 추진하고 있다. 또한 CMOS 프로세스로 제작하여 저비용화 하는 것도 노리고 있다. 현재 개발품은 SiGe BiCMOS 프로세스로 제작하고 있다.

45nm의 CMOS 프로세스로 제작한 밀리미터파 레이더용 트랜시버 IC를 반도체 집적회로의 국제회의 ‘ISSCC 2018’에서 선보인 것은 미국 Texas Instruments(TI) 등의 그룹이다. 해당 IC는 75G~81㎓ 대역을 이용하여 주로 자율주행용의 차량 외부 상황을 센싱하기 위한 것이다. 그러나, 원거리뿐만 아니라, 근거리에도 적용되는 것을 어필하기 위해 손가락의 움직임을 인식할 수 있는 상태를 ISSCC 2018의 ‘데모 세션’에서 선보였다. 회의장에서의 피로한 것은 운전석 주변의 조작부로의 적용을 상정한 것이었다.

-- 스피커와 마이크로 초음파 --
밀리미터파 방식과 같이 내환경성이 높은 점을 세일즈 포인트로 하는 것이 초음파 방식이며 크게 두 가지로 나눌 수 있다. 하나는 스마트폰 등에 미리 탑재되어 있는 스피커를 초음파의 트랜스미터에 리시버로서 사용하는 방식이다. 전용 센서를 추가할 필요가 없기 때문에 상당히 저렴하게 실현할 수 있다. 이 방식은 대표적인 예로, 노르웨이의 신흥기업인 엘리틱 렙스(Eliptic Labs)가 취급하고 있다. 당사의 인식 알고리즘을 채택한 소프트웨어를 스마트폰에 실장 한다면, 전용 센서를 추가할 필요 없이, 동작 인식이 가능해진다.

그러나, 이 방식으로는 정교한 움직임을 인식하는 것은 어렵다. 따라서 압전(피에조) 엑추에이터 등의 초음파 소자를 이용하여 섬세한 동작을 인식시키는 방법도 있다. 이와 같은 방법은 미국의 신흥기업인 Chirp Microsystems가 취급하고 있다. 당사의 기술을 통해 대상물과의 거리를 수cm~수m에 이르기까지 알아낼 수 있다고 한다.

-- CNN으로 오차를 절감 --
밀리미터파 방식 및 초음파 방식의 경우, ToF방식 및 SL방식에 비해 소비전력을 줄이기 쉽지 않고 밀리미터파 및 초음파를 출력하기 때문에 그만큼 소비전력이 늘어난다. 이에 반해, 스테레오 매칭 방식이라면, 카메라 즉, 수광소자만 있어도 되기 때문에 소비전력은 내려간다. 그러나, 동작의 인식 오류가 발생하기 쉽다.

이 과제의 해결을 모색하는 것이 한국 KAIST(Korea Advanced Institute of Science and Technology)이다. KAIST는 손짓 인식 및 심도(거리) 측정에 CNN(Convolutional Neural Network)을 사용함으로써 인식 정밀도를 높인 손짓 인식용 IC를 시작(試作)해 ISSCC 2018에서 발표했다. 20~40cm의 손짓의 인식 범위에서 추적오차(hand tracking error)는 평균 4.3mm에 머문다.

시작 IC의 소비전력은 한쪽 손을 인식할 때가 9.02mW, 양손을 인식할 때는 31.2mW로 낮다. ISSCC의 데모 세션에서는 이 IC를 실장한 USB동글을 스테레오 카메라가 부착된 노트북에 투입하여 손짓 인식을 시연해 보였다.

-- Kinect를 상회하는 ToF 센서 --
이런 새로운 제안과 함께 동작 인식에 이용되는 ToF 방식의 거리화상 센서도 크게 발전하고 있다. 예를 들어 마이크로소프트는 유효 화소 수가 1024x1024로 기존보다도 많은 ToF센서용 수광소자(이미지 센서)를 ISSCC 2018에서 발표했다. 이 화소의 수광소자를 30프레임/초로 작동시킬 경우 소비 전력은 650mW. 512x512화소로, 거리화상을 취득하는 ‘저소비전력 모드’의 경우 150mW로 더욱 낮다. 칩의 크기는 9.8mmx5.4mm로, 65mm의 제조 프로세스로 제작되었다.

또한, 글로벌 셔터에 적용되기 때문에 빠른 동작을 보다 정확하게 인식할 수 있다. ToF센서는 손을 빠르게 흔드는 등 빠르게 움직이는 상황에서는 배경광이 잡음으로 작용해 측거 정밀도가 떨어지기 쉽다. ToF센서용 수광소자는 일반적으로 2개의 프레임 간의 차이를 취하여 배경광을 제거한다. 하지만 다음 프레임(노광 타이밍)이 될 때까지 물체가 움직여버리면 이전 프레임의 물체가 잔상으로 남아 노이즈로 작용해 측거 정밀도를 떨어뜨리는 원인이 된다. 그러나 글로벌 셔터의 경우 이러한 우려가 적다.

ISSCC에서는 시작 센서와 레이저 광원을 조합한 ToF센서(거리화상 센서)의 계측 결과 등을 공개했다. 이 ToF센서는 2013년에 발매된 제 2세대 Kinect에 비해 성능이 크게 향상되었다. 예를 들어, 시작된 ToF센서의 소비 전력은 광원을 포함해 950mW로 1W를 밑돈다. 소비 전력이 작아진 만큼 소형화가 가능하다. 데모 섹션에서 선보인 ToF센서 모듈은 마우스 정도의 크기였다. 제 2세대 Kinect는 ToF센서의 높은 소비전력 등으로 인해 냉각기기가 크고 냉각 팬도 부착되어 있다.

성능이 높은 새로운 ToF센서이지만, 마이크로소프트는 제품화할지에 대해 명확히 밝히지 않고 있다. 한편, 지금까지의 ToF센서에 비해 배경광 노이즈를 낮추는 ToF용 수광소자를 개발해 판매하고 있는 곳은 시즈오카(靜岡)대학 발 벤처기업인 Brookman Technology(하마마쓰 시)이다. ToF용 수광소자와 광원을 조합한 평가용 카메라도 판매 중이다.

Brookman Technology는 1개의 프레임 사이에 배경광을 제거해 거리화상을 출력하는 화소 구조를 채택했다. 이를 통해 빠른 속도로 움직이는 물체가 있는 상황에서도 배경광을 제거, 잔상이 발생하지 않게 되는 것이다.

 -- 끝 --