일본산업뉴스요약

Start Up Innovation / Science
운전자의 시선을 파악해 음성 정보 안내
세렌스재팬

-- 음성으로 핀포인트 시설 정보 제공 --
음성 카내비게이션 등 차량형 커뮤니케이션 시스템을 개발하는 세렌스재팬(도쿄)은 주행 중 운전자의 시선을 파악해 주변 시설 정보 등을 음성으로 안내하는 시스템을 공개했다. 이를 시작으로 음성 및 눈짓으로 자동차와 커뮤니케이션 하는 멀티모달(Multimadal)형 기술을 자동차 제조사용으로 전개할 예정이다.

호텔이나 쇼핑몰, 오락 시설이 늘어서 있는 도쿄 오다이바(お台場)지구. 운전자가 도로의 왼쪽 전방에 보이기 시작한 시설을 얼핏 보고 “저 건물은 뭐지?’라고 묻는다. 2~3초 후, 스피커에서 ‘아쿠아시티 오다이바입니다. 장르는 쇼핑몰로 분류되어 있습니다”라는 음성이 나온다.

운전자가 “전화번호는?”이라고 물으면 “전화번호를 표시하겠습니다”라고 대답, 디스플레이에는 전화번호가 표시된다. “이 번호로 전화를 걸까요?’라고 질문하기도 한다.

이것은 세렌스재팬이 최근 실시한 ‘세렌스멀티모달PoC’의 데모 영상이다. 세렌스의 전신인 뉴앙스커뮤니케이션즈가 1월에 미국에서 개최된 가전박람회에서 전시한 적이 있지만 주행 환경에서의 데모는 국내에서 처음 공개된 것이라고 한다.

-- 운전석 앞에 설치 --
기존의 디지털 지도를 이용한 안내 시스템은 예를 들어 중화요리점을 찾을 경우 주위의 일정 범위 안에서 검색해 표시한다. 하지만 자동차의 경우, 이미 지나쳐버린 점포도 표시된다. 이번 시스템은 운전자의 시야에 있는 시설에 대한 정보를 핀포인트로 알려준다.

이를 위해 운전자의 시선을 검출하는 시스템과 3D의 디지털 시가지 모델을 조합. 시선검출장치는 운전자의 정면에 설치해 적외선 카메라로 운전자의 눈동자 움직임을 파악함으로써 시선을 판단한다.

3D 시가지 모델은 이번 데모용으로 오픈 소스 방식의 지도서비스, ‘오픈스트리트맵(OpenStreetMap)’를 통해 제작했다. 향후 상용 시스템은 디지털지도 업체인 유럽의 히어테크놀로지의 데이터를 이용해 개발, 일본의 복수 데이터소스에도 대응해나갈 예정이다. 실용 단계에서는 자사의 클라우드 서비스로 운용할 계획이다.

3D 시가지 모델은 각각의 건물 형상이 그대로 재현되어있다. 운전석에서 주위를 둘러볼 때 운전자가 보이는 빌딩 등의 풍경과 공통된 영상 이미지가 시스템 안에서 ‘디지털 트윈’ 형태로 재현된다.

시선검출장치로부터 수집되는 정보와 3D 시가지 모델을 조합함으로써 운전자가 “저 건물은?”이라고 묻는 시점에서 드라이버 시선으로 보이는 풍경의 영상을 얻을 수 있게 된다. 이 중에서 호텔이나 레스토랑, 카페 등의 건물 부분을 화상처리로 잘라내 시선 정보를 바탕으로 운전자가 주시한 곳을 산출한다.

-- 독일의 AI 연구센터와 협력 --
운전자가 예를 들어 “저 레스토랑은?”이라고 물어볼 경우, 레스토랑이라는 단어를 토대로 카페 등 다른 시설과 구별해 정밀도를 높인다. 대상을 정확하게 집어내기 위한 기술은 제휴처인 독일의 AI 연구센터와 협력해 실현했다고 한다.

세렌스재팬을 산하에 두고 있는 미국 세렌스는 음성커뮤니케이션 기술을 개발하는 미국 뉴앙스커뮤니케이션의 차량용 부문이 독립한 형태로 올 여름에 발족. 음성 카내비게이션 등 차량용 시스템을 자동차 제조사와 부품 제조사에 공급하고 있다. 세렌스의 시스템 탑재율은 올 1분기, 54%에 달한다고 한다.

음성으로 조작할 수 있는 시스템은 독일의 메르세데스벤츠가 작년, 세렌스와 협력해 AI를 통한 음성인식기능’MBUX(Mercedes-Benz User Experience)’을 도입했다. 이 최첨단 시스템은 독일 자동차를 중심으로 도입이 확대되고 있다.

MBUX는 시스템을 기동할 때 ‘하이 메르세데스’와 같이 정해진 단어를 처음에 말해야 할 필요가 있지만, 이번 멀티모달 시스템은 갑자기 음성 지시를 내려도 기동 가능하다는 점이 특징이다.

세렌스는 앞으로 운전석 외 다른 좌석에 앉은 사람의 음성으로도 지시를 내릴 수 있도록 하거나, 사이드 윈도우에 잠깐 시선을 보내고 ‘저 창문을 열어줘’라고 말하는 등 음성으로 보다 다양한 조작이 가능한 시스템을 개발. 자동차 제조사 등으로의 채택 및 기술의 공동연구를 제안해나갈 방침이다.

▶ 세렌스의 차량용 시스템 기술의 로드맵
《2020년까지》
- 긴급 차량의 사이렌소리를 감지해 운전자에게 통지
- 운전석 외 다른 좌석에서의 음성 지시를 인식
- 버튼 조작이 일체 불필요한 시스템으로
《2022~2022년》
- 탑승자의 감정을 인식할 수 있는 차량 장치 개발
- 자율주행차에 대응한 인터페이스 기술 개발
- 카메라와 마이크를 통한 차내 공간 모니터링
- 멀티모달 인터페이스
《2023년 이후》
- 증강현실을 유저 인터페이스에 도입
- 손의 움직임 등 제스처로 지시하는 기술 개발
- VR 등을 통한 오락 체험 실현

 -- 끝 --