전기전자/정보통신

Nikkei Electronics_2017.5 특집 (p27~53)

모든 것을 꿰뚫어 보는 카메라
Super Intelligence를 향한 카메라의 진화

제1부: 기기 동향
시작된 카메라의 지능화, 차량탑재 및 감시용은 FA가 견인 역할

이미지 센서 및 화상 처리 기술, 화상 인식기술과 같은 카메라 기술은 지금까지 인간의 눈(시각)을 뛰어넘는 것을 목표로 진화해 왔다. 앞으로는 촬영 씬 및 주위의 상황까지를 순식간에 파악할 수 있는 지성을 겸비한 카메라 기술이 개발의 중심이 된다. 견인역할을 하는 것은 시장 성장이 빠른 자동차 및 드론, 감시 카메라, 산업용 로봇 등의 비(非) 민생분야이다.

이미지 센서에서 최고의 세계 점유율을 자랑하는 소니 그룹이 2017년 제 1분기에 새로운 사업부를 신설했다. 그것은 감시 카메라 및 드론, 산업용 로봇과 같은 비 민생분야에 있어서의 센싱 용도를 위한 이미지 센서를 취급하는 소니 세미컨덕터 솔루션즈의「센싱 솔루션 사업부」이다.

지금까지 소니는 스마트폰이나 디지털카메라와 같은 민생 기기용 이미지 센서에 주력하여 높은 셰어를 자랑해 왔다. 또한 2015년에는 차재 사업부를 설립하여 차재 카메라용 이미지 센서에도 힘을 쏟고 있다. 예를 들어 2017년 4월에는 같은 해 5월의 샘플을 출하, 2018년 3월 양산을 예정하는 제2세대 제품을 발표했다.

「LED 프리커」로 불리는 깜빡임 현상의 억제와 넓은 다이나믹레인지(Dynamic Range)를 양립시키는데 성공했다. 향후 소니의 차재 이미지 센서의 「기반이 되는 제품」(소니 세미컨덕터 솔루션즈 차재사업부 총괄부장 키타야마 씨)으로 자리매김하게 되었다.

최근에 와서 새롭게 발족된 센싱 솔루션 사업부는 민생, 차량탑재에 이은「또 다른 하나의 축」(센싱 솔루션 사업부장 요시하라 씨)으로 성장시키기 위해 소니가 야심 차게 만든 조직이다. 이 사업부에서 개발하는 것은 거리 및 편광, 특징 등을 취득할 수 있는, 지금까지의 이미지 센서와는 일선을 긋는 것들이 대부분이다.

-- 꿰뚫어보는 카메라가 요구된다 --
비(非) 민생분야의 이미지 센서 개발에 소니가 주력하는 배경에는 스마트폰 및 디지털 카메라의 시장 성장이 둔화하고 있는 것에 있다. 한편, 차재 카메라 및 감시 카메라, 산업기기에 이용되는 머신비전(Machine Vision) 용도의 비 민생기기의 시장은 민생분야의 카메라에 비해 높은 성장이 기대된다. 예를 들어 차량탑재 카메라의 경우, HIS Markit Technology의 조사에 따르면 2016년의 5,200대에서 2020년에 약 2배에 해당하는 1억대를 넘게 성장할 것으로 보고 있다.

성장분야로써 기대를 모으는 이미지 센서 및 화상처리기술, 화상 인식기술과 같이 카메라 기술에서 요구되는 것은 사람이 본 그대로를 촬영하거나 한 번 봤을 때 예쁜 화면을 표현하는 등의 시각적 기능이 아니다. 촬영한 장면의 상황 및 그 의미까지 파악할 수 있는, 다시 말해「지성」을 겸비한 카메라 기술에 있다.

■ 자동차
DNN으로 운전 장면 전체를 인식

자동차 분야에서는 자동차 운전을 위한 센싱 기술의 개발이 많이 이루어지고 있다. 그러나 센서마다 장단점이 있기 때문에 한 종류의 센서가 아닌 여러 종류의 센서를 조합하여 「센서 퓨전」에 의해 완전자율주행을 목표로 하는 방향이 주류를 이루고 있다. 차재 센서로써 카메라가 가진 장점으로는 차량 및 보행자 등의 대상물을 식별하는 것이다. 거기에서 그 식별을 인간의 것에 가깝게 하기 위한 연구가 추진되고 있다.

예를 들어 덴소(Denso)는 심층학습을 적용한 뉴럴 네트워크(DNN: Deep Neural Network)에 의한 화상 인식에 힘을 쏟고 있다. DNN의 적용에 의해 사람이나 자동차뿐 아니라 신호 및 도로 등을 포함한 운전 장면 전체를 인식할 수 있다.

현재 시판되고 있는 자동차에 탑재되고 있는 카메라 시스템에는 각각의 자동차나 사람, 차선 등을 인식하고 있다. 이런 개별의 인식에 비해, 운전 장면 전체를 인식함으로써, 그 결과로부터「사고를 예측하여 미연에 방지하는 등, 사람에 가까운 대처가 가능해져 안전성이 높아진다」(덴소)고 보고 있다.

-- 골격 검출과 얼굴 방향 추정을 실시간으로 --

■ 감시 카메라
촬영 장면을 판별하여 촬영 조건을 변경

감시카메라 분야에서는 육안으로는 보기 힘든 상황에서 카메라의 설정을 자동 조절하거나, 촬영한 화상을 보기 쉽게 처리하는 제품 개발이 활발하다. 예를 들어, 파나소닉이 2017년 3월부터 판매를 시작한 감시 카메라 신제품「i-PRO EXTREME 시리즈」는 촬영한 장면을 자동으로 인식하여 사람이 알아보기 쉬운 화상을 찍을 수 있게 각종 설정을 자동으로 조정하는 기능을 갖추고 있다.

NEC는 크게 2가지 기술을 개선했다. 첫 번째는 얼굴이 부분적으로 안보여도 인증할 수 있게 했다. 상황에 따라 다르지만, 눈 주위의 특징을 판별하는 것으로 양 눈이 보이면 인증할 수 있도록 한다. 경우에 따라서는 한쪽 눈만 보이더라도 인증이 가능하다고 한다. 나머지 하나는, 심층학습의 강화이다. 이에 따라 얼굴의 방향이 카메라에 대해 정면이 아니라 틀어져 있을 때에도 인증이 가능하게 되었다. 현재는 정면에 대해 좌우 40도정도 틀어져 있어도 인증이 가능하다고 한다.

-- 복수의 카메라로 인물 추적 --

■ FA 기기
고속 비전으로 생산성을 높이다

FA의 분야에서는 카메라 기능의 개선에 의해 산업용 로봇을 고속 및 정확하게 작동시켜 생산성을 높이거나 사람만이 할 수 있었던 복잡한 작업을 로봇에게 맡기는 등의 시도가 한창이다.

전자에 관해서는 도쿄대학 이시카와(石川)∙와타나베(渡辺) 연구실이, 소니 그룹과 공동으로 개발한 고속 비전 칩의 응용 실험에 들어갔다. 일례로 트레싱 동작으로의 이용을 들 수 있다. 이와 같은 동작은 용접∙용단, 실링, 레이저 가공, 도장∙도포 등 다양한 작업용 로봇에 필요한 기본적이며 중요한 임무이다. 기존의 방법으로는 목표 궤도에 대해 교지점을 직접 가르치기 때문에「고정밀도로 하기에는 작업 속도가 느리다」「교지 작업의 부담이 크다」「외부로부터 불확정 요소에 대해 견고성이 부족하다」라는 과제가 있었다.

이런 과제의 해결을 위해, 기존의 산업용 로봇의 손끝에 고속 비전 칩과 고속의 보상 동작을 실행하는 액추에이터(Actuator)를 갖춘 소형 모듈을 외부에 장착시키는 것을 상정하고 있다. 즉, 고속 비전 칩에 대응한 신규의 산업용 로봇을 이용하지 않는다는 접근방법이다. 기존의 로봇을 고성능으로 만들면서 필요한 비용은 모듈 분의 추가만으로 해결된다. 

-- 무작위로 놓여진 상품을 90%이상 식별 --

● 시장동향
차량탑재의 다음은 드론용과 다파장 카메라

차재 카메라가 기록적으로 성장하는 가운데, 산업용 카메라 시장도 급성장을 시작했다. 특히 주목 받는 것은 머신비전, 드론용 카메라, 멀티스펙트롤(다파장) 카메라에 대해 소개하겠다.

-- FA에 카메라를 불러 모은다, 머신비전 시장 --
생산 라인 및 검사 동정 등 FA(Factory Automation)로 카메라를 사용하여 검사∙선별 등의 처리를 하는 머신비전 장치의 세계 시장은 2015년에는 37억 미국 달러였으나, 2017년에는 전년 대비 9.7% 증가한 40억 미국 달러를 돌파할 것으로 예상되고 있다.

--카메라 탑재가 필수인 드론, 1,000만대로 --
수 년 전에 등장한 드론도 급속하게 존재감을 드러내고 있는 분야이다. 드론 시장은 2016년에 약 340만대에 달했다. 2016년~2020년의 평균 년간 성장률은 31.3%. 2020년에는 1,000대를 돌파할 것으로 예상된다. 현재 주력의 일반용에 포함해 프로용 수요가 특히 2018년부터 왕성해 진다. 프로용은 2016년에 전체의 10%인 35만대였으나, 같은 76.8% 속도로 늘어 2018년에는 100대를 넘는다. 2020년에는 드론 전체의 30%를 넘는 약 340대에 달할 것으로 보인다.

-- 특히 주목 받는 시장, 멀티스펙트롤 카메라 --
-- 식품 라인에서의 내부 검사도 가능하게 --

제2부: 초지성 화(化) 기술
거리 측정, 다파장화, 고속화---, 초 지성(Super Intelligence)을 향한 개발이 가속

카메라 및 이미지 센서의 사양∙성능의 기준이 사람의 눈에 구애 받지 않게 되어, 다양한 방면으로 진화하는 움직임이 구체화되고 있다. 시장과 기술로 선두를 달리는 소니 등이 CMOS 이미지 센서에 거리 측정 기능을 추가하는 기술, 파장별로 촬영하는 기술, 1,000프레임/초의 고속영상을 실현하는 기술 등을 개발 중이다. 광학 부품을 없애는 렌즈 Less 기술의 개발도 시작되었다.

사람의「눈」을 뛰어넘기 위한 개발에서, 사람의「지성」을 뛰어넘는 기술 개발로 카메라 진화의 방향이 변화함에 따라, 이미지 센서의 기술 개발의 방향성이 다양해졌다. 앞으로의 카메라 시스템으로는, 대상물을「보이는 대로」가 아닌 그 의미까지 꿰뚫어 보기 위해서는 외관을 보완하는 정확한 부가 정보가 효과적이다.

이미지 센서가 주목하기 시작한 것이 대상과 자신과의 위치 관계를 파악하는데 유효한 (1)거리정보, 3원색 이상의 자세한 (2)다파장 정보, 반사 및 대상물의 식별에 유효한 (3)편광정보, 동영상의 리얼타임 표시의 기준인 30프레임/초를 크게 상회하는 (4)고속 프레임 정보 등이다. 카메라를 넓게 흩어지게 한 후, 많은 화상정보 및 관련 정보를 취합하기 위해 광학 부품을 없애는 (5)렌즈 리스(less)기술도 실용화를 앞두고 있다. (6)고감도∙광 다이나믹레인지의 실현을 위한 이미지 센서 및 카메라용 신 기술을 포함하여 아래와 같이 해설하겠다.

(1) 거리 측정 기능
이미지 센서 및 카메라에 거리 측정 기능을 삽입하면 화소마다 거리 정보인 거리화상을 얻을 수 있다. 거리 화상의 취득 원리는 광선을 조사하여 반사시간을 측정하는 ToF(Time of Flight) 방식과 다른 2개의 시점에서 대상을 포착하는 시차에 의해 측정하는 스테레오 카메라 방식 등이 있다.

-- 소니가 저전력∙고밀도의 거리측정 기술 --
-- ToF의 거리 화상으로 100m를 지향 --
-- 고속 촬영시의 오차 저감 --
-- “스테레오 시(視)”를 단안(單眼)의 원샷으로 --
-- 3D 지도를 생성하는 스테레오 카메라 --

(2) 다파장 검지 기능
다파장 카메라 개발에는 소니 및 파나소닉이 뛰어들고 있다. 가시광선에는 구별할 수 없는 차이 및 부재 내용의 조성이 반사파의 스펙트럴 해석(Spectral Analysis)으로 추정된다. 농업 분야에서 토양 및 작물의 상태, 의약분야에서 사람의 눈으로는 구분할 수 없는 정제(錠劑)의 판별 등 다양한 응용이 기대된다.

-- 반도체 공정으로 광학 필터 사용 --
소니는 저가격에 소형화가 가능한 멀티 스펙트럴 이미지 센서를 개발 중이다. 파장 선택형의 광학 필터를 이미지 센서의 전면에서 저비용으로 형성하는 기술을 사용한다. 광학 필터는 반도체의 이전 공정에서 만들어 넣는다. 통과시키려는 파장을 미세한 구조로 주기적으로 만드는 것을 통해 실현하고 있다. 플라즈모닉스의 원리로 빛의 투과 특성을 제어한다. 기계 가공한 글라스 부품 등에 의한 광학기구를 사용하는 것보다 소형 및 저비용으로 만들 수 있다.

-- 파나소닉은 유기 박막으로 --

(3) 편광 식별 기능
다파장 제품은 아니지만, 소니는 편광기능을 저비용 및 싸게 부가할 수 있는 이미지 센서를 개발하고 있다. 자동차의 앞 유리에 반사한 빛을 분리함으로써 차 밖에서 차 실내의 상황을 선명하게 촬영 가능하게 된다. 물체 표면의 울퉁불퉁한 상태에 의해 편파 특성이 바뀌는 것을 통해, 표면 상태를 추정할 때 활용한다.

(4) 고속 촬영 기술
동영상의 촬영에서 일반적으로 30프레임/초를 크게 뛰어 넘는 1,000프레임/초와 같은 고속 촬영기술을 개발한 것은 소니와 도쿄대학이다.

-- 연산기를 내장하여 고속, 저소비 전력으로 --
프레임 속도가 높은 이미지 센서를 이용하여 화상인식 시스템을 구축할 경우 문제가 되는 것이 소비전력이다. 그 해결책으로써 주목 받는 것이 비전칩이다. 센싱용 연산기를 이미지 센서 안에 내장시켜, 센싱의 고속화와 저소비 전력화를 양립시키는 기술이다.

-- 6개의 타깃을 센싱 --
-- 개발 환경도 정비 --
-- 시간 분해능력 0.8ns의 센서 --

(5) 렌즈 리스화
렌즈 리스 카메라에 대해서는 미국 Rambus서 및 히타치 제작소가 개발 중이다. 최초 실용화가 예상되는 응용에는 건물이나 주택에서의 실내 검지가 있다. 소형에 저렴한 카메라로, 실내에 있는 사람의 수와 실내에서의 위치가 판정된다. 조명 및 공조의 제어 등에 사용한다. 소형인 것을 활용한 응용에서는 안경 프레임에 카메라를 장착시켜 시선을 따라가는 시스템 개발을 Rambus가 추진하고 있다. 일반적으로 안경과 같은 형태의 AR 글라스를 실현할 때에 유효하다고 보고 있다.

-- 초점 맞출 필요가 없다 --
-- 히타치, 초점 맞춤이 촬영 후에도 가능 --

(6) 고감도∙광 DR화
감시 카메라 및 산업기기, 자동차에서는 민생기기에 비해 한 층 더 높은 고감도 및 광 다이나믹레인지(DR)이 요구되고 있다. 그 실현을 향한 기술 개발이 활발하게 이루어지고 있다.

예를 들어 타무론(Tamron)은 별의 밝기 보다 어두운 0.003 lux의 밝기의 피사체를 1920X1080 화소의 칼라 화상으로 저장할 수 있는 카메라를 개발했다. 다이나믹레인지는 140㏈로 넓다. 광학 렌즈로부터의 빛이 이미지 센서의 수광부(受光部)에 빠짐없이 들어갈 수 있게 연구하고 있다.

-- 사람을 뛰어넘는 새로운 촬영 원리, Renault사 등이 연구 중 --

  -- 끝 --