일본산업뉴스요약

Nikkei X-TECH_2023.3.14

다른 원리로 작동하는 이미지 센서 'EVS'를 대폭 개량
소니 그룹, 스마트폰이나 AR에 채택

소니 그룹 산하의 반도체사업회사 Sony Semiconductor Solutions(SSS)는 초고속과 저소비전력을 겸비한 이미지 센서를 개발했다. 스마트폰이나 VR(가상현실)/AR(증강현실) 기기의 진화를 가속화할 가능성을 내포한다.

SSS가 개발한 이미지 센서는 ‘Event-based Vision Sensor(EVS)’라 불리는 것이다. 기존의 RGB 이미지 센서와 다른 원리로 작동하며 초고속으로 동체를 검출한다. 소비 전력이 작고, 다이내믹 레인지가 넓다는 특징을 갖추고 있다.

RGB 이미지 센서는 일정한 타이밍(프레임 속도)으로 촬영한다. 반면에 EVS는 피사체의 움직임이나 주위의 환경 변화라는 변화(이벤트)에 따라서 개개의 화소가 독립해 움직인다. 각각의 화소에 입사하는 빛의 휘도가 변하며 한계치를 넘으면, 그 변화를 검출하는 구조이다.

VR용 헤드셋이나 AR 글라스에 사용하면 핸드 제스처 인식이나 시선 추적(Eye Tracking)을 저소비전력으로 빠르게 실행할 수 있다. 스마트폰에서는 RGB 이미지 센서와 EVS를 병용함으로써 어두운 곳에서 고속으로 움직이는 사물을 깨끗하게 촬영할 수 있다. 1000fps(초당 프레임 수)를 넘는 고프레임 속도로 촬영하는 것도 가능해진다.

-- 소형화 니즈에 대응 --
이러한 특징 때문에 각 업체는 EVS의 연구 개발에 힘을 쏟고 있다. SSS는 22년에 산업용 EVS를 제품화하고, 민생용 연구 개발도 진행했었다.

SSS는 그 성과를 반도체 분야의 저명한 국제학회 ‘ISSCC 2023’에서 발표했다. VR/AR용과 모바일용으로 각각 EVS 칩을 개발했다. 모든 성과는 SSS와 SSS 산하의 스위스 Sony Advanced Visual Sensing의 공동 성과이다.

VR/AR, 특히 AR 글라스는 스마트폰에 비해 부품의 구현 공간이 한정적이기 때문에 이미지 센서에는 소형화가 요구된다. 그래서 화소 크기가 2.97㎛로 업계 최소 수준의 EVS 칩을 시작(試作)했다. 기존 EVS는 작아도 약 5㎛였다.

회로부에도 소형화를 위한 아이디어를 담았다. 예를 들면, ‘아날로그 프론트 엔드(AFE)’ 회로를 작게 했다. EVS에서는 일반적으로 휘도 변화를 검출하기 위해 화소마다 AFE 회로가 필요하기 때문에 회로부가 커지기 쉽다. 이번에 4화소에 1개의 AFE를 공유하는 등의 방법으로 AFE 회로의 소형화를 실현했다.

초당 검출 이벤트 수(eps: events per second)는 최대 1412M(메가)eps로 높다. 모든 화소의 일괄 이벤트 검출과, 행 별 이벤트 데이터 전송을 조합한 독자적인 스캔 방식으로 실현했다. 소비 전력도 작다. 소비 전력의 기준이 되는 이벤트당 소비에너지는 57pJ(피코줄)로 기존 EVS의 절반 이하로 했다.

-- 모바일을 이용한 과제 해결 --
VR/AR용에서는 EVS를 센싱 용도로 사용하는 데 반해 모바일용에서는 이미징 용도로 이용한다. 그에 따라 기존의 모바일용 이미지 센서의 다화소화로 인해 발생하는 과제를 해결한다. 구체적으로는 어두운 곳에서 촬영할 때 발생하는 잔상 억제다.

일반적으로 다화소화를 위해 화소 사이즈를 작게 하면 감도가 떨어지고, S/N(신호 대 잡음)이 떨어지기 때문에 어두운 곳에서는 촬영 성능이 저하된다. 특히, 어두운 곳에서 노광 시간이 긴 촬영을 하면 ‘블러’라는 잔상이 생겨 움직이는 피사체를 깨끗하게 촬영하기 어렵다.

모바일 전용의 RGB 이미지 센서에서는 이러한 잔상이 쉽게 생기지 않도록 하기 위해 여러 번 촬영을 하고, 그 이미지를 합성함으로써 한 장의 이미지를 생성하고 있다. 이 방법은 화질은 높아지지만 소비 전력이 증대한다.

EVS를 사용하면 저소비전력으로 고속의 움직임을 검출할 수 있다. 그래서 RGB 이미지 센서와 EVS를 병용해, RGB 이미지 센서로 촬영한 이미지 데이터 상의 블러를 EVS로 검출한 데이터를 사용해 보정하는 것이다. 이를 통해 야간에도 움직이는 피사체를 깨끗하게 촬영할 수 있다.

고속 촬영 시의 소비 전력도 줄일 수 있다. RGB 이미지 센서로 60fps나 120fps와 같은 통상의 프레임 속도로 촬상하면서, EVS로 고속으로 취득한 데이터를 사용해 RGB 이미지의 프레임 사이를 보간하는 방법으로 마치 고프레임 속도로 촬영한 것 같은 영상을 생성한다. EVS는 RGB 이미지 센서에 비해 소비 전력이 작기 때문에 토탈 소비 전력을 작게 억제할 수 있다.

-- 동일 평면 상에 EVS 화소 --
이점이 많아 보이는 EVS에도 과제는 있다. 대표적인 것은 광학적인 불균형이다. RGB의 이미지 센서와 EVS를 병용했을 경우, 두 센서의 광축이 다르기 때문에 광학적인 불균형이 생긴다. 불균형을 보정하는 방법은 있지만 제로로 만들 수는 없다.

그래서 SSS는 이번에 1개의 칩 위에 RGB 이미지 센서의 화소와 EVS의 화소를 만들었다. 이를 통해 광축의 불균형을 거의 제로로 만들었다. SSS는 이를 ‘하이브리드 EVS’라고 부른다.

4ⅹ4(16) 화소를 하나의 단위로 하고, 이 중 4화소를 EVS에 할당하고 나머지 12화소를 RGB에 할당했다. 화소 크기는 1.22㎛로, 일반적인 모바일용 이미지 센서와 같은 수준으로 했다. EVS용에서는 감도를 높이기 위해서 4화소를 EVS 1개 분량의 화소로서 이용한다.

모바일용 이미지 센서는 화소수가 많기 때문에 고속화도 필수다. 수천 Meps가 기준이다. 하이브리드 EVS 칩에서는 최대 4562Meps를 달성했다.

고속화를 위해 VR/AR용에서도 도입한 행 별 이벤트 데이터 전송을 채택했다. 아울러 휘도 변화를 검출한 화소가 없는 행에 대해서는 스킵하는 방법으로 읽지 못하도록 했다. 게다가 독자적인 압축 기술 등을 도입해 고속 판독에 대응시켰다.

또한 AR/VR 전용과 모바일 전용 모두 이면조사형이다. 판독 회로나 EVS용 처리회로 등으로 구성된 회로부에 화소부를 적층하고 있다. 화소부는 90nm, 회로부는 22nm 프로세스로 제작했다.

-- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.