일본산업뉴스요약

Nikkei X-TECH_2020.7.20

AR, 현실을 '확장'에서 '편집'으로
‘덧셈’ 방식의 AR, '뺄셈' 방식으로 재정의

현실 세계는 다양한 정보로 넘쳐나고 있다. 그것은 인터넷 상의 정보만이 아니라 거리에서 흔히 보는 기업의 광고나 이동 중에 들려오는 타인의 대화 등 시각적, 청각적으로 많은 정보를 접하고 있다. 그런 정보를 더 늘려 편리성을 높이는 것이 AR(증강현실) 기술이다. 지금 이 AR이 단순한 현실의 ‘확장’에서 현실을 적절하게 ‘편집’하는 기술로 점점 이동하고 있다.

현실을 확장하는 AR은 지금까지는 기본적으로 현실에 정보를 ‘더하는’ 방식이었다. 단순하게 생각하면 정보가 많다는 것은 좋은 일이다. 그러나 현실 세계의 모든 정보가 자신에게 유익한 정보라고는 할 수 없다. 넘쳐나는 정보가 ‘잡음’이 되어 생활에 지장을 초래하는 일도 적지 않다. AR은 정보를 늘리는 것만으로는 제대로 기능하지 않는다. 앞으로 필요한 것은 얼마나 정보를 줄여서 받아 들일 것인가, 즉, 현실에 대한 ‘덧셈’은 물론 ‘뺄셈’을 한다. 다시 말해 현실을 적절하게 편집하는 기술이 필요하다.

-- 노이즈 캔슬링으로 ‘소리’를 뺄셈 --
현실을 편집하는 AR의 알기 쉬운 사례가 청각적인 뺄셈, 즉, 소리의 노이즈 캔슬링 기술이다. 최근에 헤드폰이나 이어폰에는 주위 소리를 제거하는 ‘Active Noise Canceling(ANC)’ 기능이 많이 탑재되어 있다. 본체에 탑재한 마이크로 귓가의 소음을 검출해, 그 소음에 대해 동진폭(Same Amplitude)∙역위상(Opposite Phase)의 소리를 재생함으로써 소리를 제거하는 시스템이다.

이어폰의 ANC 기능을 온으로 하면 거리의 시끄러운 소리를 ‘무음’으로 바꿀 수 있다. 이것이 소리의 뺄셈이다. 이 때, 사람의 소리나 기계의 소리, 자동차 주행 소리 등 주파수를 이용해 소리를 제거하는 강도를 바꾸면 원하는 소리만 작게할 수도 있다.

소리의 뺄셈은 사생활 보호 등에서도 활용할 수 있다. 예를 들면 은행이나 관공서 등의 창구에 있는 파티션에 필름 모양의 압전 소자를 사용한 슬림형 필름 스피커를 내장한다. 그곳에서 노이즈 캔슬링용 역위상 소리를 재생시켜 옆 자리의 소리가 잘 들리지 않도록 하면, 이어폰 등을 사용하지 않아도 불필요한 소리를 제거할 수 있다.

소리의 뺄셈에는 다른 방식도 있다. 불필요한 소리를 모두 지우는 것이 아니라 필요한 소리만을 추출해 깨끗하게 들리도록 하는 것이다.

예를 들면, 인간의 뇌 작용 중에 ‘칵테일 파티 효과’라는 것이 있다. 이 효과는 파티장 등 시끄러운 환경 속에서도 자신에게 필요한 정보만은 확실하게 들을 수 있는 것을 말한다. 뇌는 선천적인 기능으로서 현실의 정보를 편집하고 있는 것이다. 최근 입체 음향 기술에서도 소리의 방향을 재현할 수 있게 되면서, 어디에서 들리는 소리인지를 판별하는 것이 가능해지고 있다.

-- 이미지 인식과 연계해 소리를 편집 --
칵테일 파티 효과와 같은 기능을 실현하려는 제품도 등장하기 시작했다. 이스라엘의 인공지능 기업 오르캠 테크놀로지(OrCam Technologies)가 20년 1월의 ‘CES 2020’에서 발표한 ‘OrCam Hear’는 이미지 인식과 조합해 장착한 사람이 듣는 소리를 선택할 수 있는 기능을 갖추고 있다.

OrCam Hear는 카메라와 마이크가 일체형인 제품으로 보청기나 이어폰 등과 접속해 동작한다. 본체를 목걸이처럼 목에 걸고, 장착자 쪽을 향하고 있는 상대의 얼굴이나 입술의 움직임을 이미지 인식으로 검출, 자신에게 말을 걸고 있는 사람의 소리를 추출해 보청기나 이어폰에 송신하는 시스템이다. 이를 이용해 어느 특정 방향의 소리에만 집중해 재생하는 것도 가능하다.

-- 시각 정보도 ‘뺄셈’하는 시대로 --
영상을 이용한 AR에서도 시각적인 뺄셈이 가능하다. AR은 원래 현실에 겹쳐서 정보를 부가하는 기술이다. 예를 들면, 대면하고 있는 상대의 정보나 보고 있는 물체, 길거리의 매장 등의 정보를 시야에 표시하는 등 정보의 ‘덧셈’으로 생활을 편리하게 한다.

그러나 덧셈의 AR에는 폐해가 있다. 예를 들면, 공중에 광고나 코멘트, 3D 오브젝트 등의 정보를 지나치게 많이 표시하면 AR 안경을 통해 본 공간이 그러한 정보들로 가득 차서 뭐가 뭔지 알지 못하게 된다. AR에서의 광고나 정보 제시는 장착자가 불쾌하게 느끼지 않는 지표를 고려해 설계해야 한다.

그래서 뺄셈의 AR이 유용한 기능의 하나가 된다. 불필요한 광고나 보고 싶지 않은 사물을 지우거나 혹은 좋아하는 정보로 자동 변환하는 등의 AR 안경의 장착자 개개인에게 최적의 정보를 표시시키기 위해 AR을 사용하는 선택지가 생겨난다. 예를 들면, 많은 관객이 참가하는 라이브 이벤트 등에서 앞에 있는 사람의 머리 때문에 무대가 잘 보이지 않을 때, 그 사람을 지우고 무대가 잘 보이도록 하는 용도도 생각할 수 있다.

실제로 영상에서 불필요한 부분을 ‘없었던 것으로 하는’ 이미지 처리 기술이 실용화되고 있다. 구체적으로 미국 Adobe는 동영상 편집 소프트 ‘Affter Effects’로 AI 기술 ‘Adobe Sensei’를 사용해 영상 내의 불필요한 영역을 선택하기만 하면 간단히 지울 수 있는 기능을 실장했다.

원래 사진 편집 소프트 ‘Photoshop’의 기능을 사진에서 동영상으로 확장한 것이다. 지우고 싶은 영역을 지시하는 조작은 한번이면 된다. 영상 내의 모든 프레임에 반영되기 때문에 프레임마다 편집을 하지 않아도 되는 것이 특징이다.

현재는 촬영이 끝난 영상을 나중에 편집해야 한다. 그러나 앞으로 실시간 편집이 가능해지면 장착한 AR 안경으로 지금 보고 있는 풍경을 그 자리에서 다시 쓸 수 있는 기능에 응용할 수 있게 된다.

-- 시각∙청각의 편집형 AR은 VR에 접근 --
AR에 의한 시각적인 정보의 뺄셈은, 스마트폰을 이용한 AR 등 외부 카메라로 촬영한 영상을 바탕으로 AR을 표시하는 ‘Video See-Through’ 형식의 제품에 적합하다. 보이는 사람이나 광고 등을 실시간으로 편집하면서, 그 합성 영상을 AR로 볼 수 있기 때문이다.

한편으로 시각적인 정보의 뺄셈은 AR용 헤드 마운트 디스클레이(HMD)에서 주류가 된 마이크로소프트의 ‘HoloLens’처럼 투과 디스플레이를 이용한 ‘광학 See-Through’ 형식의 제품으로는 어렵다. 이미지 처리한 영상을 표시해도 편집 전의 현실이 환하게 비치기 때문이다.

일반적으로 광학 See-Through 제품은 영상 표시 부분의 광학 설계 비용이 크다.  게다가 영상을 합성해 AR 표시하기 위해서는 Video See-Through 형식이 주위와의 위화감이 적다는 이점이 있다. 현재는 광학 See-Through의 AR 단말이 주류다. 그러나 앞으로는 스마트폰 AR의 개량판으로서, Video See-Through 형식의 AR용 HMD(AR 안경)가 등장할지도 모른다.

실은 Video See-Through에 의한 정보의 뺄셈은 VR(가상현실)용 HMD로도 실현 가능하다. 단체(單體)로 동작하는 스탠드얼론형의 VR용 HMD는 주위 환경 인식 용으로 복수의 RGB 카메라를 내장한다. 내장 카메라의 영상을 사용해 주위의 모습을 HMD로 보면서, VR 영상과 합성하는 AR과 같은 기능도 실장되기 시작했다.

현실 세계에 정보를 더하는 것이 아니라 현실 세계에서 정보를 빼는 일은 이전부터 DR(Diminished Reality, 감소현실)이라 불리면 연구 개발되어 왔다. 이미 인터넷 상의 정보라면 필터링 기능 등으로 취사 선택이 점점 쉬워지고 있다. 이를 지금까지의 ‘덧셈’ 중심의 AR과 조합한 새로운 AR을 만듦으로써, 현실 세계의 시작적∙청각적 정보의 편집이 가능하게 되면 사람들의 생활을 보다 쾌적하게 바꿔나갈 수 있을 것이다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved