기계/자동차/부품

Nikkei Robotics_22.4 Cool Topic (p34-35)

소니, 가변 해상도 이미지 센서
인체감지 센서나 컴퓨터 비전에 대응

목적에 따라 해상도를 변경해서 촬영하고, 복수의 센싱 용도를 커버한다. 그런 새로운 이미지 센서를 미국 Sony Electronics와 Sony Semiconductor Solutions, Sony LSI Design의 연구 그룹이 개발했다.

개발 성과는 ‘반도체업계의 올림픽’이라고 불리는 국제회의 ‘ISSCC(International Solid-State Circuits Conference) 2022’에서 발표했다. 2018년의 ISSCC에서도 동종의 이미지 센서를 발표했지만 보다 세밀하게 해상도를 변경할 수 있도록 하여 다양한 용도로 사용할 수 있다.

대표적인 용도로 상정하고 있는 것은 통상의 카메라와 더불어 인체감지 센서나 컴퓨터 비전(CV)으로도 이용하는 것이다. 우선, 모션(동작) 검출 모드에서 해상도를 대폭으로 떨어뜨려, 인체감지 센서나 물체의 대략적인 움직임을 검출하는 센서로서 이용한다.

다음으로 동작 검출 모드에서 동작 중에 사람 비슷한 것을 검출하면, CV 모드로 변경해 다소 해상도를 올려 사람이나 손, 물체의 인식, 얼굴 인식 등을 한다. CV 모드에서 사람이나 물체 등을 인식한 후에 선명한 이미지를 찍을 필요가 있다면 높은 해상도인 ‘뷰잉 모드’로 이행한다.

모바일 기기나 웨어러블 기기와 같은 소형 배터리 구동의 기기에도 탑재할 수 있도록 소비전력 절감에 주력했다. 예를 들면, 모션 검출은 온칩(On Chip)에서 실행하고, 기기의 메인 프로세서(SoC)의 이미지처리회로(ISP)와 추론처리회로(DNN)을 슬립시킨다.

CV 모드에서는 SoC의 ISP를 슬립시키고 DNN을 작동하게 하고, 뷰잉 모드에서는 DNN을 슬립시키고 ISP를 작동시킨다. SoC를 포함한 제어를 통해 시스템 전체의 소비전력을 삭감한다.

또한 이미지 센서 자체의 소비전력, 특히 모션 검출 모드에서의 소비전력을 대폭으로 삭감했다. 예를 들면, 수평32ⅹ수직10화소, 1프레임/초(fps) 구동의 동작 검출 모드에서의 소비전력은 0.12mW로 작다. 이 소비전력은 촬영뿐 아니라 이미지 센서 내에서 시행하는 동작 검출 처리까지 포함한 값이다.

CV 모드에서의 소비전력도 작다. 예를 들면 수평640ⅹ수직480화소(VGA), 1프레임/초의 경우에 0.79mW로 1mW를 밑돈다. 뷰잉 모드로서 수평2560ⅹ수직1920화소, 50프레임/초에서 촬영한 경우에 88mW다.

-- 소비전력 삭감에 2개의 아이디어 --
이번에 개발한 이미지 센서는 이면조사형으로, 상부에 화소부 칩을, 하부에 논리 회로부 칩을 적층했다. 소비전력을 삭감하기 위해 주로 화소부와 논리 회로부에 각각 1개씩, 총 2개의 아이디어를 담았다.

화소부에는 가변 해상도에 대응한 수직 방향 화소의 가산(加算, Binning) 처리 방법을 도입했다. 수직 방향으로 가산하는 것은 공백 기간을 길게 해서 읽기 회로를 쉬게 함으로써 소비전력을 삭감하기 위해서다.

비닝 처리 중에서도 저소비 전력이면서 화질의 열화가 잘 발생하지 않는 ‘FD(Floating Diffusion) 비닝’이라고 부르는 방법을 도입했다. 이 방법을 도입함으로써 소망하는 해상도에 대응할 수 있는 프로그래머블한 가산 처리를 가능하게 했다.

논리 회로부에는 새로 ‘인프레임 DVFS(Dynamic Voltage and Frequency Scaling)’라고 부르는 방법을 채용했다. 회로부 작동 시의 주파수나 전압을 세밀하게 제어함으로써 소비전력을 삭감한다.

구체적으로는 1프레임에서의 읽기 기간 내에서 높은 주파수(153MHz)와 높은 전압(1.05V)에서 작동시키고, 다음 읽기까지의 ‘공백 기간’에서는 낮은 주파수(422kHz)와 낮은 전압(0.8V)에서 작동시킨다.

인프레임 DVFS는 1~2프레임/초처럼 낮은 프레임 속도에서 작동시키는, 공백 기간이 긴 동작 모드에서 위력을 발휘한다. 그래서 이번에는 동작 검출 모드에서 인프레임 DVFS를 도입했다. 예를 들면, 10프레임/초의 모션 검출 모드에서 도입 전에 1.4mW였던 소비전력은 도입 후에 0.32mW가 되었다. CV 모드에서는 주파수만 바꾸는 ‘인프레임 DVFS’에서 전력을 억제했다.

소니는 이번 성과를 언젠가 제품에 도입할 계획이지만 구체적인 제품화 스케줄을 공개하지 않았다. 다만 ISSCC에서 발표된 성과는 일반적으로 제품화가 끝났거나 혹은 1~2년 후에 제품화되는 경우가 많다. 즉, 소니가 이번 성과를 활용한 이미지 센서를 제품화할 경우에 그 시기는 23~24년 무렵일 것이다.

 -- 끝 --

Copyright © 2020 [Nikkei Robotics] / Nikkei Business Publications, Inc. All rights reserved.