전기전자/정보통신

NTT 기술저널_2024.4

특집
새로운 업무 스타일을 창조하는 공간 기술
퍼스널라이즈 사운드 존

본 특집에서는 장소에 상관 없이 업무나 엔터테인먼트 체험이 가능한 새로운 라이프 스타일을 실현하기 위해 ‘듣고 싶은 소리만 들을 수 있는, 들려주고 싶은 소리만을 듣게 할 수 있는 세계’를 가능하게 하는 궁극의 음향 공간인 ‘퍼스널라이즈 사운드 존(PSZ)’ 실현을 위한 도전에 대해 소개한다.

퍼스널라이즈 사운드 존 실현을 위한 도전과 그 전망
NTT컴퓨터&데이터사이언스연구소가 개발을 추진하고 있는 ‘스팟재생기술’, ‘음향XR기술’, ‘능동소음제어기술’, ‘소망음선별기술’이라는 4가지 요소 기술에 대해 소개한다.

역위상 소리를 활용해 소리를 상쇄시키는 새로운 방법
PSZ 스팟재생기술
범용 스피커를 이용해 낮은 코스트로 스팟 재생을 실현하는 방법과 스피커에 가까운 곳에서만 소리가 들리도록 하는 스팟재생기술에 대해 소개한다.

현실과 가상의 소리를 융합하는 음향XR기술
이어폰을 통해 들리는 가상의 소리와 직접 귀로 듣는 현실의 소리를 융합해 듣는 음향XR기술과 그 연구 활동에 대해 소개한다.

차내의 상쾌하고 안전한 소리 환경 실현을 위한 PSZ 능동소음억제기술과 소망음통과기술
소리를 가두는 ‘스팟재생기술’과 ‘소망음선별기술’을 활용해 필요한 소리를 통과시킬 수 있는 능동소음선별기술과 그 응용 사례에 대해 소개한다.

NTT소노리티의 도전
PSZ 기술과 Magic Focus Voice를 중심으로 한 사업 전개
NTT소노리티(NTT Sonority)의 설립 과정과 자체 브랜드 ‘nwm’ 및 프로덕트인 ‘귀 스피커’. 그리고 급성장하고 있는 오픈이어형 이어폰 시장과 올해부터 개시된 차세대 음성 DX 서비스 사업에 대해 소개한다.

주역 등장
NTT컴퓨터&데이터사이언스연구소의 지바(千葉) 연구원
사람과 현실세계, 그리고 가상세계를 연결하는 차세대 음향 디바이스를 목표로

퍼스널라이즈드 사운드 존 실현을 위한 활동과 전망

퍼스널라이즈드 사운드 존(PSZ)이란 ’듣고 싶은 소리만 들을 수 있는, 들려주고 싶은 소리만 들을 수 있도록 하는 세계’를 가능하게 하는 궁극의 소리 공간이다.

장소에 상관 없이 업무나 엔터테인먼트 체험이 가능한 새로운 라이프 스타일과 현실 공간 및 가상 소리 공간의 융합을 통한 새로운 음향 체험, 거실과 같이 조용하고 서로 떨어져 앉아 있어도 쾌적하게 대화할 수 있는 자율주행 자동차, 듣는 능력 확장에 의한 생활의 질 향상 등의 실현을 목표로 한다. 이번 특집에서는 이 PSZ 실현을 위한 도전에 대해 소개한다.

■ 새로운 라이프 스타일을 위한 음향 환경
근로 개혁 및 코로나의 영향으로 기존과 같이 사무실에 출근하는 업무 방식이 재검토되면서 장소나 시간에 영향을 받지 않은 유연한 업무 방식이 주목 받고 있다. 또한 감염 방지 대책을 계기로 시작된 리모트 응원 및 관람도 새로운 문화로 자리잡고 있다. 이러한 새로운 라이프 스타일을 실현하기 위한 환경을 구축하는 데 있어 특히 ‘소리 환경’(소리 공간)이 중요한 요인을 차지하고 있다.

예를 들어, 재택 근무에 가장 이상적인 소리 공간을 예로 들자. 인터넷 회의 중 상대방의 목소리가 외부로 새어나가지 않고 자신만 들을 수 있거나, 아이들이 떠드는 소리가 차단되어 자신뿐만 아니라, 상대방도 들리지 않거나, 현관 벨 소리 등, 들을 필요가 있는 외부 소리는 차단되지 않고 통과되는 등을 상정할 수 있다. 이처럼 듣고 싶은 소리만을 듣고, 들려주고 싶은 소리만을 전달할 수 있는 소리 공간이 실현된다면, 쾌적한 재택 근무가 가능할 것으로 보인다.

이러한 이상적인 소리 공간의 실현은 단순히 세상을 편리하게 하는 것뿐만 아니라, 다양한 어려움을 가진 사람들을 지원할 수 있다. 현재, 세계에서 4.3억 명(인구의 5%) 이상이 난청이라고 알려져 있다. 이러한 사람들을 대상으로 잘 알아들을 수 없는 대화 상대의 음성을 적절한 음량으로 들을 수 있도록 하거나, 불쾌하게 느낄 수 있는 소리를 억제하거나, 위험한 소리를 검지해 알려주는 등을 실현할 수 있게 된다.

■ 퍼스널라이즈드 사운드 존(PSZ)이란?
NTT컴퓨터&데이터사이언스연구소는 이처럼 개개인에게 최적의 소리 공간을 ‘퍼스널라이즈드 사운드 존(PSZ)’으로 제창했다. PSZ란 주위의 소리 가운데 듣고 싶지 않은 소리를 차단하고, 듣고 싶은 소리만을 듣고, 타인에게 자신의 소리가 전달되지 않는, 그야말로 개인 전용의 소리 공간을 목표로 하는 개념이다. 이 소리 공간을 개개인에 맞게 제어함으로써 자신이 원하는 쾌적한 생활 공간을 즐길 수 있는 세계를 제공하는 것을 NTT컴퓨터&데이터사이언스연구소는 목표로 한다.

PSZ 실현을 위해서는 우선 주위의 소리 정보를 파악하고, 그것을 이해한 상태에서 적절하게 소리를 제어하는 기술을 조합해 실현할 필요가 있다. 사람이 소리를 느끼는 방식을 다루는 음향 심리, 음파의 전달을 기술하는 파동 방정식, 소리의 입출력을 처리하는 음향 디바이스(마이크나 스피커) 등의 하드웨어, 신호처리, 음향 씬 파악에 이르기까지 다양한 기술 영역에 대한 연구가 필요하다.

이러한 연구에 대해 NTT컴퓨터&데이터사이언스연구소는 ’하드웨어와 소프트웨어의 융합’이라는 접근 방법으로 이하의 4가지 기술 요소 ‘스팟재생기술’, ‘음향XR기술’, ‘능동소음제어기술’, ‘소망음선별기술’에 대한 연구개발을 추진하고 있다.

(1) 스팟재생기술: 듣길 원하는 사람만 들을 수 있게 하는 기술
소리를 들을 때 주위에 소리가 들리지 않도록 하기 위해 지금까지는 이어폰이나 헤드폰을 사용하는 방법이 이용되어 왔다. 하지만 이것은 착용의 번거로움, 장시간 사용에 의한 피로나 난청의 위험, 주위 상황이나 위험 감지의 어려움 등, 많은 문제를 가지고 있다.

이 때문에 이어폰이나 헤드폰을 사용하지 않고 듣는 대상만이 들을 수 있도록 하는 스팟 재생이 가능할 경우, 이러한 문제를 해결할 수 있어 보다 편리해질 것이다. NTT컴퓨터&데이터사이언스연구소는 스피커 케이스나 하드웨어 구성에 대한 연구를 통해 역상의 파장을 방사(放射)함으로써 새어나가는 소리를 없애고 소리를 귀 근방에 가두는 스팟재생기술 개발을 추진해왔다.

(2) 음향XR기술: 소리를 자신의 취향에 맞게 해 새로운 음향 공간을 구축하는 기술
지금까지는 이어폰이나 헤드폰으로부터 들리는 소리를 즐기거나, 스피커에서 나오는 소리를 즐기는 것이 일반적이었다. NTT컴퓨터&데이터사이언스연구소는 귀를 막지 않아도 소리가 새어나가지 않는 음향 디바이스의 특징인 주위의 소리를 자연스럽게 수용하는 구조를 이용해 주위에서 발생되는 현실 세계의 소리와 디바이스의 소리를 융합함으로써 새로운 음향 체험을 제공하는 음향 기술을 제창.

스피커와 이어폰으로부터 나오는 소리를 융합한 스테이지의 음향 연출과 현실 공간의 소리도 고려한 음성 가이드 중첩에 대한 연구를 추진하고 있다.

(3) 능동소음제어기술: 불필요한 소리가 들리지 않게 하는 기술
현재, 널리 실용화되고 있는 이어폰 등, 노이즈캔슬링은 소리를 없애는 공간이 좁고, 귀로 소음이 도달하는 경로도 단순하기 때문에 실현이 용이하다. 하지만, 장시간 이어폰을 사용하면 외이염 등의 위험이 높아지며, 쾌적함도 떨어진다.

신체에 장착하지 않아도 되는 기기, 불필요한 소리를 없애는 기술이 실현된다면, 보다 편리해져 이용 씬도 확대될 것이다. 이러한 과제에 대해 지금까지는 다수의 마이크 및 스피커를 사용해 실현하는 방법이 있었지만, NTT는 고속∙저지연 처리와 스피커 케이스∙마이크 배치의 최적화를 통해 적은 수의 마이크와 스피커로 귀를 덮지 않고 소음을 없애는 기술개발을 추진하고 있다.

(4) 소망음선별기술: 원하는 소리만을 들을 수 있게 하는 기술
이것은 PSZ를 구성하는 요소인 ‘필요한 소리를 통과시키는 기술’이다. 예를 들어, 차량 내에서는 외부로부터의 소음은 차단하고 싶지만, 응급차의 사이렌 등은 될 수 있으면 빨리 알고 싶다는 니즈가 있다.

NTT컴퓨터&데이터사이언스연구소는 마이크로 관측한 음향 신호를 바탕으로 심층뉴럴네트워크(Deep Neural Network: DNN)을 이용해 ‘어느 위치에서 어떤 소리가 발생했는가’를 추정하는 기술을 개발해 차량에도 응용. 듣고 싶은 소리와 그 위치를 추출해 소리를 재현함으로써 ‘필요한 소리를 통과시키는 기술’을 실현했다.

또한 이 기술의 응용을 위해서는 먼 곳에서 들려오는 듣고 싶은 소리를 즉시 분석할 필요가 있지만, 이것은 많은 잡음이나 잔향(殘響)의 영향으로 변하기 때문에 위치와 종류의 식별이 어렵다. 그래서 반향음과 배경 잡음 분석을 기반으로 한 주위 환경으로의 적용을 통해 환경 변화에 대해 정확하게 추정. 마이크로폰 어레이 신호 처리를 바탕으로 음파의 물리적 특징을 활용해 정밀도를 유지한 채 실시간 동작을 가능하게 했다.

이러한 요소 기술들은 많은 기업 및 연구기관에서도 연구되고 있다. 하지만 대부분은 단독 기술의 성능 향상이 중심으로, 귀를 덮는 음향 디바이스를 이용하는 것이거나, 다수의 하드웨어를 필요로 하는 것 등, 실제로 응용하는 데 있어 장벽이 높은 연구들도 많다.

NTT컴퓨터&데이터사이언스연구소는 귀를 덮지 않고, 유저에게 부담을 주지 않는 가치를 축으로 기술 검토를 진행하고 있으며, 현실의 소리 공간과 가상의 소리 공간을 융합함으로써 새로운 라이프 스타일의 실현과 엔터테인먼트 체험을 만들어내는 것을 목표로 하고 있다.

■ NTT소노리티의 설립
TT컴퓨터&데이터사이언스연구소가 개발한 PSZ 요소 기술 등을 이용해 음향 관련 사업을 전개하는 NTT소노리티가 2021년 9월 1일에 설립. PSZ 요소 기술의 항공기에서의 이용 씬, 자동차에서의 이용 씬, 오피스 의자에서의 이용 씬 등 기업용 전개와 포터블스피커, 웨어러블 디바이스(이어폰, 넥스피커) 등 소비자용 전개, 법인용의 차세대 음성 DX(디지털트랜스포메이션) 서비스 사업을 전개하고 있다.

2022년 7월에는 연구소에서 개발한 귀 가까이에 소리를 가두는 기술을 이어폰에 응용해 제품화에 성공. 다양한 이벤트에서의 음향 연출에도 활용되고 있어, PSZ 요소 기술을 보다 빨리 소비자에게 선보일 수 있게 되었다.

■ PSZ 실현을 통한 ‘사람들의 소리와 관련된 라이프 스타일을 변혁’
PSZ 실현을 위한 기술적 과제는 아직 많이 남아있으며, 앞으로도 하드웨어와 소프트웨어의 융합이란 접근 방식으로 연구개발을 추진해나갈 방침이다. 또한 PSZ 실현을 위해 NTT는 NTT소노리티를 비롯한 사내∙외와 연대해 음향 연출 등 실제 필드에서 검증하며 기술의 가능성을 높여나갈 것이다.

미래에는 마치 안경과 같이 일상생활에 녹아 드는 형태로 귀를 덮지 않은 디바이스를 상시 몸에 장착해 음향 서비스를 계속 제공 받을 수 있는 새로운 라이프 스타일을 실현. 리모트 업무나 오피스, 엔터테인먼트, 모빌리티 등, 폭넓게 이용되는 경우에서 ‘사람들의 소리와 관련된 라이프 스타일의 변혁’을 가속화할 수 있는 큰 영향력을 발휘해나가고 싶다. 그리고 음향 디바이스를 장착한 것이 보다 세상을 즐길 수 있는 미래를 실현하고 싶다.

 -- 끝 --

퍼스널라이즈 사운드 존 실현을 위한 도전과 그 전망
NTT컴퓨터&데이터사이언스연구소가 개발을 추진하고 있는 ‘스팟재생기술’, ‘음향XR기술’, ‘능동소음제어기술’, ‘소망음선별기술’이라는 4가지 요소 기술에 대해 소개한다.

역위상 소리를 활용해 소리를 상쇄시키는 새로운 방법
PSZ 스팟재생기술
범용 스피커를 이용해 낮은 코스트로 스팟 재생을 실현하는 방법과 스피커에 가까운 곳에서만 소리가 들리도록 하는 스팟재생기술에 대해 소개한다.

현실과 가상의 소리를 융합하는 음향XR기술
이어폰을 통해 들리는 가상의 소리와 직접 귀로 듣는 현실의 소리를 융합해 듣는 음향XR기술과 그 연구 활동에 대해 소개한다.

차내의 상쾌하고 안전한 소리 환경 실현을 위한 PSZ 능동소음억제기술과 소망음통과기술
소리를 가두는 ‘스팟재생기술’과 ‘소망음선별기술’을 활용해 필요한 소리를 통과시킬 수 있는 능동소음선별기술과 그 응용 사례에 대해 소개한다.

NTT소노리티의 도전
PSZ 기술과 Magic Focus Voice를 중심으로 한 사업 전개
NTT소노리티(NTT Sonority)의 설립 과정과 자체 브랜드 ‘nwm’ 및 프로덕트인 ‘귀 스피커’. 그리고 급성장하고 있는 오픈이어형 이어폰 시장과 올해부터 개시된 차세대 음성 DX 서비스 사업에 대해 소개한다.

주역 등장
NTT컴퓨터&데이터사이언스연구소의 지바(千葉) 연구원
사람과 현실세계, 그리고 가상세계를 연결하는 차세대 음향 디바이스를 목표로