AI/로봇·드론/VR·AR

Nikkei Electronics_2022.5 특집 요약 (32~51)

떠오르는 ‘공중 디스플레이’
비접촉 니즈에 의한 사회 실장이 시동

Part 1. 총론
보급에 열쇠를 쥐고 있는 '+α'의 시점

공중 디스플레이 기술의 사회적 구현이 코로나19로 인한 비접촉 니즈에 힘입어 시작되려 하고 있다. 최근 터치 패널의 대체가 표면화되고 있지만, 차량 탑재나 전자 게시판 등 다른 용도로의 확대에 대한 기대도 크다. 그러나, 비용이나 좁은 시야각 등 보급을 위해 해결해야 할 과제도 많은 것이 사실이다. 향후 시험대에 오르는 것은 비용 상승에 상응하는 ‘공중 영상이 가진 가치’의 제공일 것이다.

“광학소자, 시스템 설계, 비용 등의 구성 요소들이 갖춰지게 되면서 드디어 사회 구현의 첫발을 내디딜 수 있게 되었다. 이를 계기로 수평적 전개를 추진해나갈 예정이다”.

올 2월에 세븐일레븐 재팬이 도쿄 도내의 6개 점포에서 실증 실험을 개시한 공중 디스플레이 기술이 탑재된 캐시리스 셀프 계산대 ‘디지POS’. 여기에 채택된 공중 결상용 광학소자 ‘ASKA3 D플레이트’ 개발자인 아스카넷의 오쓰보(大坪) 씨(공중 디스플레이사업부 연구개발팀 스페셜리스트)는 이렇게 말한다.

그가 공중 디스플레이 기술을 세상에 내놓기 위해 아스카넷에 입사한 것은 2011년. 이후, “전시회에 다수 출품해 이슈는 되었지만, 사회 구현은 추진되지 못했다”(오쓰보 씨).

이러한 상황을 일변시킨 것이 코로나19 대책으로 갑자기 형성된 ‘비접촉에 대한 니즈(Needs)’이다. 2020년 후반 경부터 공공 시설이나 병원, 점포의 접수 단말기, 은행의 ATM등에서 도입이 시작되었다. 공중 디스플레이 기술을 오랜 기간 연구하고 있는 도쿄대학 공학부 전자정보공학과 나에무라(苗村) 교수는 “비접촉이라고 하는 특성이 안심·안전으로 이어진 것이 돌파구로 작용했다”라고 말한다.

물론, 공중 디스플레이의 매력은 ‘비접촉’ 인터페이스를 실현할 수 있다는 것만은 아니다. 공중에 실제 영상(실상)을 디스플레이한다는 ‘놀라움’과 ‘임팩트’도 중요한 요소이다. “현재, 점포에서의 단말기로 대규모 안건이 진행되고 있는 것 외에도 자동판매기 제조사, 미술관 등을 포함해 거래 문의가 많다”(대일본인쇄정보 이노베이션사업부 DX센터의 오다카(尾高) 씨).

-- 공업화를 위한 공중 디스플레이의 조건 --
사실 공중 디스플레이는 ‘공중에 영상을 표시하는 기술’이라는 넓은 의미에서 보면 ‘홀로그래픽 디스플레이’, ‘라이트필드 디스플레이’ 등 여러 가지가 있다. 그러나, 공업제품으로서 폭넓게 용도를 확대할 수 있는 기술은 그리 많지 않다. 공중 디스플레이 기술의 1인자인 우츠노미야(宇都官)대학 공학부 기반공학과의 야마모토(山本) 교수에 따르면, 공중 인터페이스나 전자 게시판과 같은 킬러 애플리케이션으로 채택되기 위해서는 이하의 5개 조건을 만족시킬 필요가 있다고 한다.

①영상에 맨손으로 직접 접촉할 수 있다(손가락이나 손과 영상이 겹쳐질 수 있다), ②어떤 관찰 위치에서도 같은 위치에 영상이 있다, ③특수한 안경 등을 사용하지 않고 맨눈으로 관찰할 수 있다, ④안전하다, ⑤대량 생산이 가능하다 등의 이러한 모든 조건들을 유일하게 만족시키는 것이 ASKA3D 플레이트 등 ‘수동형 광학 소자’를 사용하는 타입이다. 기본적으로는 디스플레이에 표시된 영상광을 광학소자를 통해 공중에 결상시킨다.

수동형 광학소자에는 주로 4가지 기술이 있다. 첫 번째가ASKA3D플레이트의 ‘2면 직교(直交) 리플렉터’, 두 번째가 정보통신연구기구(NICT)발 벤처기업인 패리티 이노베이션즈가 제공하는 ‘패리티 미러’의 ‘2면 코너 리플렉터어레이(DCRA), 세 번째가 입사광로 방향으로 빛을 반사시키는 ‘재귀성 반사’ 기술을 사용하는 타입, 그리고 마지막이 파이오니아가 개발한 기술을 계승한 벤처기업 라이트&임자크가 제공하는 ‘마이크로 렌즈 어레이’이다. 각 방식에는 일장일단이 있다.

이러한 기술들은 현재 일본이 독주하고 있으며, 해외에서는 중국에서 채택된 사례가 일부 있지만 많은 기업이 진출해 경쟁하는 나라는 일본 이외에는 아직 없다.

사실 수동형 광학소자를 사용해 영상을 공중에 표시하는 것만이라면 어렵지 않다. 그러나, 공업제품으로 사용할 수 있는 품질을 확보하려면 여러 가지 노하우가 필요하다. 디지털POS를 포함해 공중 디스플레이 시스템 설계를 전문으로 하는 간다공업(神田工業)의 호리타(堀田) 집행임원은 “처음에는 사내에서도 ‘이런 것은 팔리지 않는다’라고 혹평을 받았다. 그러나, 시스템을 개발해 영상의 어두움과 흐림이 개선되자 그 평가가 바뀌었다. 단순히 액정 디스플레이와 조합하는 것만이 아닌, 색다른 매력을 더할 필요가 있다”라고 말한다.

예를 들면, 맥셀(Maxell)은2021년 12월, 공중 디스플레이 기술을 활용한 ‘공간 영상 맨-머신 인터페이스(AFMI)’를 개발, 편성 가능한 AFMI 유닛을 같은 해 2월부터 양산한다고 발표했다. AFMI는 ASKA3D플레이트를 채택한 시스템으로, 독자적인 광학 설계를 통해 공중 영상의 휘도가 4,000~6,000cd/m²로 높은 것이 가장 큰 특징이다. 이 휘도는 2021년에 발매된 ‘아이패드(제9세대)’의 최대 휘도보다 약 10배가 높다.

이것을 실현한 곳은 액정 디스플레이(LCD)를 생산하는 재팬디스플레이로, 편광판을 생산하는 일본화약과의 협업을 통해 맥셀이 독자적으로 개발한 공중 디스플레이 전용 영상 광원 ‘LLIS(Laser Like Image Source)’이다. LLIS는 영상광을 임의의 방향으로 이끄는 제어 기술을 베이스로 한 광원으로, 백라이트 부분에 독자적 기술이 도입되었다.

-- ‘감염증 대책+α ‘로 용도 확대 --
시장조사 회사인 후지경제는 2020년 12월, 공중 디스플레이 관련 제품 시장에 대한 예측을 발표했다. ASKA3D플레이트를 포함한 주요 광학소자에 대한 2025년의 출하 규모가 2019년 대비 21.4배 확대된 7,260개에 이를 것으로 예측했다.

이 전망치에 대한 견해는 엇갈리지만, 공중 디스플레이 시장을 점치는 최대 포인트는 코로나 사태가 종식되었을 때 이것이 일회성 붐으로 끝날 것인지, 차세대 디스플레이로 정착할 것인지에 있다.

현재, 공중 디스플레이 시스템의 코스트는 향후 광학소자의 양산화가 추진된다면 낮아지겠지만, 대부분의 경우 수 십만엔 수준으로 매우 비싸다(단, 재귀성 반사 플레이트를 사용하는 시스템의 경우 좀더 저렴할 수 있다). 이 때문에 비접촉 입력 인터페이스로서 용도를 확대하기 위해서는 ‘감염 대책+α’라고 하는 시점이 중요하다.

예를 들어, 세븐일레븐 재팬의 디지털 POS는 터치 패널이 달린 기존의 셀프 계산대에 비해 부피가 약 30% 작다는 공간 절약성이 높게 평가되었다. “편의점에서 공간의 유효한 이용은 매우 중요하다. 빈 공간에 다른 상품을 진열할 수 있기 때문이다. 디지털 POS를 통해 새로운 점포의 레이아웃을 개척할 가능성도 있다”(세븐일레븐 재팬의 니시무라(西村) 시스템본부장).

국내 자동차 백미러 시장 점유율 선두인 무라카미카이메이도(村上開明堂) 등이 개발하고 있는 화장실 비데 리모컨용의 비접촉 인터페이스는 청결감을 유저에게 제공한다. 또한, 공중 디스플레이 기술은 공장이나 병원 수술실, 부엌 등 손이 더러워지거나 젖게 되는 현장용 단말기로의 채택도 기대되고 있다. 이 경우에는 편리성이나 유지보수성 개선 효과가 있다.

‘놀라움’이나 ‘외형적 임팩트’와 같은 시각 효과는 업무용 게임 단말기, 자동판매기 등에 활용할 수 있다. 게임 단말기에서는 공중 조작을 활용한 새로운 놀이법이 개발될 가능성도 있다.

-- 나뭇결 무늬 벽에서 입력 버튼 등장 --
알프스알파인과 우쓰노미야대학이 공동으로 개발해 올 1월에 발표한 ‘스텔스 공중 인터페이스’는 ‘놀라움’과 함께 제품 등의 디자인에 자유도를 제공할 가능성이 있다.

알프스알파인 등은 공중 디스플레이에 ‘가식(加飾) 인쇄’라고 하는 기술을 조합해서 일견 나뭇결 무늬의 벽밖에 보이지 않는 장소에 시스템을 매립해 공중 입력 인터페이스로 사용할 수 있도록 했다. 지금까지 디자인 관점에서 마이너스 요인이었던 물리적인 입력 버튼을 없앤 것이다.

기술적 측면에서 스텔스 공중 인터페이스의 최대 포인트는 디스플레이의 영상이 가식 인쇄 시트를 투과해 공중에 표시되는 점에 있다. 이에 대해 알프스알파인은 상세한 내용을 밝히지 않고 있지만, “가식 인쇄 시트에 광학적인 특수 가공을 실시해 실현했다. 물론, 가식의 종류에 따라 공중 영상의 색이나 밝기 등을 고려할 필요는 있다”(알프스알파인)라고 한다.

비접촉 입력 외에도 아이디어에 따라 다양한 용도가 창출될 가능성이 있다. 예를 들면, 차량용 기기 등을 개발·판매하는 유피테르는 2021년 12월, 공중 디스플레이 기술을 활용한 개인용 단말기 ‘LVR-01’을 2,000대 한정으로 발매했다. 우피테르의 오리지날 애니메이션 캐릭터 ‘키리시마 레이’가 공중에서 움직이거나 대화할 수 있는 등 ‘자택에서 즐기기 위한 단말기’라고 한다.

맥셀도 올해, 개인용 단말기인 ‘메타버스 이미지 디스플레이’를 발매할 예정이다. 스마트폰이나 PC에 접속해 공중에 나타나는 캐릭터와 ‘대화’를 하거나, 영상 통화를 하고 있는 상대의 얼굴 등을 공중 영상으로 표시할 수 있는 장치이다.

이 두 가지는 공중에 영상이 나타나 이를 실제로 만질 수 있다는 특성을 활용할 수 있는 용도의 사례이다. “공중 디스플레이는 복수의 사람들이 영상을 통해 물리적 공간을 공유할 수 있다.

어디까지 가능할지는 모르지만, VR(가상현실)용 HMD(헤드 마운트 디스플레이)의 상대가 되는 기술로서 메타버스의 새로운 핵심 기술이 될 가능성이 있다”라고 VR기술을 오랜 기간 연구하고 있는 전기통신대학 대학원 정보공학연구과 정보학전공의 고이즈미(小泉) 교수는 전망한다.

전자 게시판도 바로 아이디어가 중요한 세계이다. 예를 들어, 실제 상품을 공중 영상으로 장식해 디스플레이하거나, 대형 공중 영상으로 관람객을 끌어들일 수 있다. 미쓰비시전기는 2016년, 사람이 지나갈 수 있는 56인치(폭 886mm높이 1120mm)의 공중영상시스템을 시작(試作)한 적이 있다. 대형 재귀성 반사 플레이트를 사용해 이 시스템을 구축했다.

차량 용도의 경우 아직 실험 단계이지만, “자동차 회사들의 관심은 높다. 운전자가 센터 콘솔을 보지 않아도 손 근처의 공중 인터페이스로 조작할 수 있거나, 위험이 닥쳤을 때 어떠한 경계태세를 공중에 표시하는 등의 검토가 진행되고 있다”라고 한다(IMUZAK의 사와무라(澤村) 대표이사). 이 외에도 향후 완전 자율주행화 된 차내 공간에서의 이용도 기대되고 있다.

-- 목표는, 3D모델 ‘레이아 공주’--
물론, 공중 디스플레이 기술은 이제 막 시장이 구축된 직후로, 앞에서 서술한 코스트 외에도 보급을 위해 해결해야 할 과제들이 많다. 예를 들면, 공중 영상의 흐림이나 고스트 현상 저감 등의 품질 개선, 영상 품질의 평가 기준 부재 등이 있다.

그럼에도 불구하고, 공중에 손으로 만질 수 있는 영상을 표시할 수 있는 매력을 추구하는 노력은 향후에도 계속 이어질 것이다. 실제로 광학설계 연구 등을 통해 공중 영상 표현의 자유도를 높이기 위한 개발이 곳곳에서 추진되고 있다.

공간 사이니지 사업 등을 추진하는 벤처기업 Spacial은 3D 영상을 공중에 표시해 입체시(立體視)할 수 있는 장치 ‘Spacial’을 개발했다. ASKA3D플레이트를 사용한 공중 디스플레이 장치이지만, 디스플레이에 통상적인 LCD가 아닌 맨눈으로 입체시가 가능한 라이트 필드 디스플레이를 이용해 공중 영상을 3D화 했다.

또한 공중영상이 보이는 부분 아래에 장치의 외장으로서 무대와 같은 공간을 만들어 캐릭터의 3D 모델을 공중에 띄웠을 때 마치 무대 위에서 퍼포먼스를 하는 것처럼 보이도록 했다.

도쿄대학 공학부의 나에무라(苗村) 연구팀은 광학 설계를 연구해 탑 형태의 공중 영상이 테이블에서 솟아있는 것처럼 표시하는 시스템을 개발했다. ASKA3D플레이트를 사용한 시스템이지만, 통상적으로는 테이블이 광선을 차단하기 때문에 테이블 위에 탑의 공중 영상을 표시하려고 해도 하부가 끊어지게 된다.

연구팀은 광학설계를 통해 “테이블이 광선을 차단하지만 테이블에서 솟아있는 것처럼 보이게 할 수 있었다. 상한을 넘어 이 범위까지 크게 보이도록 한 것이 포인트이다”(나에무라 교수)라고 한다.

-- 일본 독주의 '공중 디스플레이', 산업 발전을 위해 국제표준화 추진 중 --
“영상 품질의 좋고 나쁨은 일목요연하며, 이것이 직접적인 경쟁력이 된다. 성능을 좌우하는 것은, 광학 설계, 정밀 가공, 고기능 재료 등의 기술로, 현재 이러한 기술에 강한 일본 기업들이 독주하고 있다. 일본이 강점을 발휘할 수 있는 산업분야로서 추진해나갈 수 있다”(우츠노미야대학 공학부기반 공학과의 야마모토 교수).

그러나, 향후의 산업 발전을 고려했을 때 공중 디스플레이에는 ‘큰 구멍’이 있다. 그것은 바로 공중에 표시된 영상의 품질에 대한 성능 평가 표준이 존재하지 않는 것이다. 이 때문에, “현재는 각 기업들이 ‘휘도가 당사 제품 대비 50% 향상’ 등과 같은 품질 개선을 어필하고 있는 상태이다”(야마모토 교수). 다른 전자기기처럼 스펙을 기반으로 품질을 비교할 수 없는 실정이다.

이를 해결하기 위해 현재 야마모토 교수를 프로젝트 리더로 공중 디스플레이 기술의 국제 표준화가 추진되고 있다. 구체적으로는, JEITA(전자정보기술산업협회) 내에 워킹그룹을 마련해 표준화에 대하여 논의, 이를 국제전기표준회의(IEC)에서 전자 디스플레이 디바이스의 국제규격을 책정하는 'IEC/TC110'에 제안함으로써 표준화가 추진되고 있다.

“공중 영상의 휘도나 부유 거리 등에 대해 어디를 어떻게 측정하는지 등 측정 방법을 표준화하고 있다”(야마모토 교수)라고 한다. 2020년 5월에는 공중 디스플레이의 정의 및 기술 개요 등을 정리한 테크니컬 리포트를 IEC를 통해 발행했다.

2009년 5월에는 국제표준화 프로세스의 '신 업무항목 제안(NP: New Work Item Proposal)'이 인정되어 표준화의 초기단계인 '예비업무항목(Preliminary Work Item:PWI)'을 마쳤다. NP에 공중 영상의 품질이나 부상(浮上) 거리 측정법에 대해 제안해 현재 논의 중에 있다.

구체적으로는, 공중 영상의 중앙 및 4개의 귀퉁이 등을 포함한 9개 점의 3차원 위치 측정 방법, 부상 거리, 휘도, 균일성 등에 대해 표준이 결정된다. 그리고 “5년 이내에 국제 표준화가 이루어질 전망이다”(야마모토 교수)라고 한다.

Part 2. 광학소자 편
광학소자의 각 방식에는 일장일단, 대형화 및 비용 면에서는 재귀성 반사

공중 디스플레이의 핵심 부품인 ‘수동형 광학소자’에는 여러 가지 방식이 있으며, ‘영상 품질’ ‘시스템 구성 사이즈’ ‘비용’ 등에 있어서 일장일단이 있다. 용도에 따라서는 경쟁 구도이지만, 향후에는 각각의 특성에 따라 구분해서 사용될 전망이다. 각 방식의 특징 및 최신 활동에 대해 살펴본다.

Part 3. 과제 해결 편
흐림을 역산하여 공중 영상을 보정, 착각을 이용해 질감의 제공

공중 디스플레이는 사회적으로 구현되기 시작했다고는 하지만, 향후의 보급을 위해, 패시브(수동)형 광학 소자의 대형화나 저비용화 이외에도 해결해야 할 기술 과제들이 많다. 또한 비접촉 인터페이스로 사용할 때는 물리적인 피드백이 없어 사용자가 조작에 어려움을 느낄 수 있다는 지적도 나온다. 과제 해결을 위한 여러 가지 대처를 소개한다.

 -- 끝 --

Copyright © 2020 [Nikkei Electronics] / Nikkei Business Publications, Inc. All rights reserved.