AI/로봇·드론/VR·AR

Nikkei Electronics_2017.07 특집 (p27~50)

어디에서나 AR
가전에서 자동차, 산업으로 확대

안경형태 단말의 등장으로 확대가 기대되는 AR(증강현실: Augmented Reality) 시장. 거기에 눈에 띄게 기술이 진전되고 있는 프로젝터가 더해지면서 응용처가 더욱 확대될 것으로 보인다. 앞으로, 가전이나 업무용 엔터테인먼트 기기, 자동차, 산업 분야 등으로 저변을 넓혀갈 전망이다.

제1부 : 동향
프로젝션 AR이 급진전

가정의 중심을 노리는 차세대 기기로서 기대를 받고 있는 음성대화기능 장착 스피커 단말. 미국 아마존닷컴의「Amazon Echo」가 개척∙리드하고, 그 뒤를 쫓는 형태로 미국의 구글도「Google Home」을 개발. 미국 마이크로소프트의 음성대화기능「Cortana」를 탑재한 단말이 등장하는 등, 강호들의 경쟁이 심해지고 있다.

그 새로운 시장에 드디어 미국 애플도 참전한다. 2017년 6월 개막한「WWDC 17」에서, 아마존 에코의 대항마가 될「HomePod」을 17년 12월에 발매한다고 발표하였다. 애플의 음성대화기능「Siri」를 탑재하고 있고, 스피커로서의 좋은 음질을 특징으로 한다.

-- 소니도 새로운 가전을 선보인다 --
음성대화기능이 있는 스피커 단말에 일렉트로닉스 업계의 주목이 몰리는 한편, 소니도 가정의 중심을 노린 신제품의 발매에 착수한다. 그것은 2017년 6월 발매한 소형 단초점 프로젝터「Xperia Touch」다. 투영한 화상을 터치하여 조작할 수 있는 터치입력 기능과 함께, 안드로이드 OS를 탑재함으로써 스마트폰이나 태블릿 단말과 같이 다목적 용도에 적합하도록 하였다. 아마존 에코나 홈팟과 경합하는 모양새다.

가정 안에서 보다 광범위한 목적으로 이용할 수 있도록, 가속도나 자이로, 지자기(地磁氣)와 같은 모션 센서 외에 조도(照度)나 기압, 온도, 습도, 인감(人感)과 같은 환경 센서, 카메라 등의 센서를 갖춘다.

예를 들면, 카메라와 마이크를 사용하여 큰 화면으로 비디오 통화를 할 수 있다. 음성인식 기능을 갖추고 있어, 이 기능을 사용하여 일기예보, 뉴스, 오늘의 예정 등을 검색할 수 있을 뿐만 아니라 음악재생이나 앱 기동도 가능하다. 엑스페리아 터치의 경우는 약 2m정도까지 사람이 접근하면 인감센서가 반응하여 자동으로 영상을 투영한다. 기술적으로는 카메라를 이용한 얼굴인식도 가능하며, 개인에 따라 다른 메뉴 화면을 표시할 수도 있다.

-- 프로젝터가 AR 시장을 개척한다 --
가정의 중심을 노린 차세대 전략제품으로 기능 프로젝터를 발매하는 소니. 실은 업무용 엔터테인먼트 분야에서도 프로젝터를 이용한 시스템으로 사업 확대를 노리고 있다. 예를 들면, 벽면에 4K 영상을 투영하여, 그 장소에 있으면서 관광지를 여행하거나 스포츠 관람, 미술관∙박물관 견학 등을 높은 현장감으로 즐길 수 있는 시스템을 개발하였다. 이것과는 별개로, 락 클라이밍과 같이 벽을 타거나, 결승점까지의 도달 시간을 경쟁하는 스포츠「볼더링」과 프로젝션 맵핑을 조합한 시스템도 개발. 이미 대회나 이벤트에서 운용을 시작하였다.

-- 여러 명이 이용하는데 적합하다 --
-- 레이저 광원이 진화 --
-- 적용범위 확대에 대한 연구개발도 진행 --

제2부 : 엔터테인먼트/ 민생용도
쌍방향으로 큰 박력 연출, 동체 조사(照射)나 질감 조작도 가능

프로젝터로 현실 공간에 영상을 투영하여 AR을 실현하는「프로젝션 AR」. 엔터테인먼트 분야에서 착실하게 흡수되고 있는 것이「프로젝션 맵핑」이벤트다. 그 진화는 눈에 띄며, 새로운 유형의 시스템이 등장하거나, 대규모 연출도 가능해지고 있다. 또한 고속으로 움직이는 물체에 투영하는 것도 가능하게 되었다.

「프로젝션 맵핑」이라고 하면, 건축물 외에도 콘서트나 연극무대 장치에, 다양하게 연출된 영상을 투영하는 장면을 떠올릴 것이다. 이러한 이벤트에서는 관람자가 그 연출 영상을 보는 것이 일반적이다. 그러나 최근에는 시청자의 움직임에 맞추는 인터랙티브한 연출, 보다 규모가 크고 박력이 있는 연출을 가능케 하는 시스템이 등장하고 있다. 그리고 고속으로 움직이는 물체에 투영할 수 있는 프로젝터의 제품화도 시작되었다. 또한, 엔터테인먼트 분야에 있어서 프로젝션 AR의 물결은 가정으로까지 확산되고 있다. 이러한 최신 사례를 소개한다.

-- 스포츠와의 융합을 도모하는 소니 --
소니는 락 클라이밍과 같이 벽면을 등반하면서 골인 지점까지의 도달 시간을 경쟁하는 스포츠「볼더링」과 프로젝션 맵핑을 조합하였다. 2017년 3월에 개최된 아트와 기술의 제전인「SXSW(사우스 바이 사우스웨스트)」에서는, 벽면을 오르는 참가자의 움직임에 맞춰, 영화「스파이더맨」시리즈 관련 영상을 벽면에 투사하는 시스템을 소니그룹 4사에서 개발하였다. 이 시리즈의 최신작인「스파이더맨: 홈커밍」(17년 8월 11일 일본 개봉 예정)의 프로모션을 겸한 체험형 콘텐츠다. 예를 들면, 벽면을 오르는 루트에 맞춰, 스파이더맨이 던지는「스파이더 네트」을 프로젝터로 비추거나, 등반하고 있는 사람에게 빔 영상으로 공격하는 등의 연출을 한다.

이번 시스템은 주로 레이저 프로젝터와 거리화상센서, 적외선(IR) 카메라, 스피커로 구성된다. 레이저 프로젝터를 가동대에 싣고, 사용자의 현재 위치에 맞춰서 투영할 수 있도록 하고 있다. 사용자가 몸에 장착한, IR광을 발산하는 밴드를 IR카메라로 포착하여 사용자의 위치를 감지한다. 그 결과를 바탕으로 사용자의 부근에 영상을 투사한다. 그 때, 거리화상센서로 벽면까지의 거리를 얻어, 투사할 영상을 실시간으로 기하 보정하고 있다.

또한, 2017년 5월에 열린 볼더링 세계선수권대회 예선전에서는, 경기 중인 선수의 얼굴 사진이나 각종 데이터 등의 정보를 프로젝터로 투영하는 연출도 하였다. 앞으로는 볼더링 이외에도 다양한 스포츠나 이벤트에서도 연출하고 싶다고 한다.

-- 자신의 방이 VR 공간으로 --
-- 100대 규모의 대규모 프로젝션 --
-- 대상물의 질감을 바꾼다 --
-- 1,000fps 프로젝터로 동체에 투영

● 가정의 중심을 노린 소니의 “탈” 프로젝터 제품
지금까지 소개한 프로젝션 AR의 사례는 주로 업무용의 엔터테인먼트를 위한 것이다. 한편, 가정에도 그것이 확산되고 있다. 예를 들면, 소니 모바일 커뮤니케이션즈는 벽이나 바닥, 책상 위 등에 영상을 투영하여, 그 영상을 터치하면서 조작하는 기능을 갖춘 단초점 프로젝터「엑스페리아 터치」를 개발하였다. 2017년 6월 24일에 발매한다. 가정의 중심을 차지하고, 가족 전체가 이용하면서 엔터테인먼트를 즐기거나, 커뮤니케이션을 도와주는 가전으로서 자리잡는다. 그러기 위해서 모든 방으로 운반이 가능하도록 작고 가볍게 만들었다.

적외선 방식의 터치센서에 의해, 본체를 책상에 직접 두거나, 벽을 따라 배치하거나 했을 경우에 투영되는 약 23형 사이즈의 영상을 터치하여 조작할 수 있게 된다. 최대 10개의 멀티터치에 대응 가능하여, 여러 사람이 동시에 조작하는 것도 가능하다. 다채로운 기능을 실현하기 위해, 가속도나 자이로, 지자기(地磁氣)와 같은 모션센서 외에 조도(照度), 기압, 온도, 습도, 인감(人感)과 같은 환경 센서, 카메라, 마이크 등의 센서를 갖춘다.

안드로이드 OS를 탑재하고 있으며,「구글 플레이」에서 다운로드 하여 플레이할 수 있다. 엑스페리아 터치 전용 앱도 개발. 예를 들면,「Board」에서는 본체의 카메라로 촬영한 사진이나, Board 안의 일러스트 기능으로 그린 그림을 가상 보드에 붙일 수 있다.

닛케이 일렉트로닉스에서는 이러한 특징을 갖춘 엑스페리아 터치를 발매 전에 소니 모바일 커뮤니케이션즈로부터 빌려서 이용해 보았다. 또한, 분해한 실제 기기를 보면서 하드웨어 상의 특징을 분석. 이하에서는 그 결과를 소개한다.

-- 위화감 없이 융화되는 영상과 본체 --
-- 전원과 열 설계에 부심 --

제3부 : 자동차용도
HUD+차량탑재 카메라로 AR, 안전성지향과 신사업의 계기로

자동차분야에서도 AR이 확산될 듯하다. 채용이 늘고 있는 HUD(헤드업디스플레이)와 운전지원용 카메라를 조합함으로써 AR을 실현할 수 있다. 2017년을 시작으로 채용이 확대될 전망이다. 대형 차량탑재부품 기업을 중심으로 개발 경쟁이 가속화되고 있다. 그 최전선을 따라가 보았다.

경로를 안내하는 화살표와 사람의 출현을 경고하는 일러스트 등을, 차량 전방의 풍경에 오버랩하여 표시하는「자동차 AR」. 차량탑재카메라의 보급도 작용하여, AR에 대응한 HUD의 본격적인 채용이 2017년에 시작된다. 운전 시의 안전성이나 편리성을 높일 수 있기 때문이다. 자율주행 기술의 진화에 맞춰, 2020년 무렵부터 단번에 채용이 확대될 전망이다. 그 때문에 대형 차량탑재부품 기업에 의한 개발 경쟁이 격화되고 있다.

자동차회사도 준비를 서두르고 있다. 예를 들면, 독일의 BMW사는 2016년에 AR을 적극적으로 활용한 컨셉트카를 발표하였다. 잘 보이지 않는 곳에서 접근하는 자전거를 오버랩하여 주의를 환기시키는 일러스트를 비춘다. 또한 자전거의 움직임에 따라 일러스트를 움직이는 것도 제안한다. 일본에서는 도요타자동차나 마쓰다가 안전성 향상에 착안하여, AR 채용을 검토하기 시작하였다.

-- HUD로 인해 정보제시가 진화 --
지금까지도 HUD는 자동차에 탑재되어 왔다. 그러나 속도, 좌회전, 우회전과 같은 단순한 정보만을 표시했었다. AR에 대응하는 HUD라면, 많은 정보를 보다 알기 쉽게 제시한다. 운전자가 보고 있는 풍경과 물체에, 문자나 일러스트 등을 겹쳐서 표시할 수 있다. 차량탑재카메라로 대상물을 인식하여, 그에 맞춰 영상을 표시한다는 점이 기존의 HUD와 크게 다른 점이다. 운전자는 전방을 향한 시선을 움직이지 않고도 필요한 정보를 얻을 수 있기 때문에 안전하다.

자동차 분야에서 AR을 채용하기 시작한 배경으로, HUD와 함께 운전지원시스템용 카메라가 급속하게 보급되었다는 점을 들 수 있다. HUD로 표시하는 영상의 위치를 맞추는데 카메라 인식 결과를 이용할 수 있다. 고가의 카메라를 새롭게 추가할 필요 없이 AR을 실현하는 환경이 정비되었다.

2017년에 시작하는 자동차 AR은, 주행차선을 안내하는 등과 같은 간단한 표시에 그친다. 2020년 무렵이 되면, 안전하게 큰 공헌을 하는 정보를 AR로 투영하기 시작한다. 예를 들면, 충돌 위험성이 있는 장해물에 오버랩하여 경고 일러스트를 비추는 방법으로 주의를 환기한다.

자율주행 기술이 더욱 진화하여 사람이 운전하지 않는 시간이 길어지면, AR을 사용한 새로운 비즈니스가 시작될 지도 모른다.

게임을 예로 들 수 있다. AR을 사용한 스마트폰용 게임「포켓몬 고」의 자동차 버전이다. 자율주행 중의 전방 풍경에 게임 캐릭터를 비추면서 이동시간을 즐겁게 만든다. 광고를 하는 방법도 생각할 수 있다. 이동 중에 주변에 있는 점포의 위치에 맞춰서 그 점포에 관한 광고를 표시하는 식이다.

-- 앞서가는 Continental사 --
-- 시선을 감지하여 정보 제시를 정확하게 --
-- 표시 범위를 확대하려는 니혼세이키(日本精機) --
-- 시선 감지를 생략하고 저렴하게 --
-- 게임과 광고를 표시 --
-- 헤드램프로 노면에 영상 투사 --

제4부 : 산업용도
사람의 유도나 조립, 수술도 프로젝터로 지원

산업분야, 즉「B to B」의 응용에서도, 현실 공간에 프로젝터로 영상을 투사하여 AR을 실현하는 시도가 진행 중이다. 엔터테인먼트나 민생용도와는 분명하게 구별되는, 제조 현장과 수술실 등으로도 저변을 넓힌다.

프로젝터를 이용한 AR의 산업분야에서의 응용은 실로 다채롭다. 길 안내나 조립 작업의 효율화와 더불어, 수술 지원으로도 용도를 확장하려 하고 있다. 이하에서는 산업용도에 관한 사례를 소개한다.

-- 애니메이션을 투영하여 사람을 유도 --
화살표와 문자, 그림 등의 애니메이션을 프로젝터로 통로 바닥이나 문에 투영하여 사람을 원활하게 유도한다. 이러한 시스템을 미쓰비시전기가 개발하였다. 도형이나 문자 등의 단순한 표시와 비교하여 시각성이 높다고 한다. 많은 외국인 여행객이 방문할 것으로 보이는 2020년 도쿄올림픽까지 실용화하는 것을 목표로 한다.

2017년 5월에 공개한 보도기관용 데모에서는, 통로 바닥에 목적지 방향을 나타내는 화살표를 표시하거나, 엘리베이터 바닥과 문에 안내표시를 하여 이용자를 유도하는 모습을 소개하였다. 엘리베이터 승강장 데모에서는, IC카드 등을 이용한 시설 보안 설비와 연계, 이용자를 특정하여 타야 하는 엘리베이터를 표시해 주는 등의 방법을 상정하고 있다.

엘리베이터 승강장에서는 휠체어 이용자가 내리는 것도 예고할 수 있다. 휠체어 이용자가 타고 있는 엘리베이터가 승강장에 도착하기 직전에, 휠체어 이용자의 하차를 예고하는 애니메이션을 문이나 바닥에 투영하여 주위 사람에게 배려를 촉구한다.

이번 데모에서는 시판 중인 프로젝터를 이용했지만, 현재 전용 프로젝터를 개발 중이다. 전용 프로젝터는 빌딩 등의 조명 기구와 동일한 크기까지 소형화하여, 기존의 조명 기구와 같은 방법으로 설치할 수 있도록 할 생각이다. 길 안내 등을 위해 표시하는 애니메이션도, 산업기술총합연구소와 공동으로 표준화를 추진하고 있다.

-- 직감적으로 물건을 분류 --
-- 조립 지원을 1/4 비용으로 실현 --
-- Web카메라 2대로 손의 위치 검출 --
-- 어려운 수술 지원 --
-- 자유자재로 변하는 인터랙티브한 작업대 --

  -- 끝 --