전기전자/정보통신

Nikkei Electronics_2020.12 특집 요약 (p24~47)

해피 테크 (Happy Technology)
마음을 읽고 사람에게 다가가는 제품 및 서비스

Part 1. 총론
'감정(Emotion) Driven' 시대 도래, 행복을 가져오는 제품 개발

인간에게 행복을 가져오는 '해피 테크'가 일상생활의 여러 장면에서 구현될 미래가 다가오고 있다. 해피테크는 센서나 AI(인공지능)등의 기술을 활용해 제품이나 서비스를 이용하는 사람의 감정에 따라 ‘개별 최적화’ 하는 기술이다. 해피테크는 새로운 제품 및 서비스를 창출해 개발의 본연의 모습을 바꾸는 임팩트를 가져온다.

학교의 교실에서는 수업 중에 학생들의 반응을 카메라 등으로 촬영해 시스템을 통해 표정이나 몸짓을 통해 감정을 추정. 그 정보로부터 학생 개개인에게 맞은 수업의 해설이나 연습 등을 제공한다. 예를 들면, 학생이 내용을 이해하지 못하고 곤혹스러워 할 경우에는 수업의 알기 쉬운 해설을 전송한다. 그러나 막상 너무 쉬워 동기부여가 떨어진다고 판단될 경우, 난이도가 다소 높은 연습문제를 전송한다는 식이다.

제품 및 서비스의 이용자에게 행복감이나 만족감을 가져오는 해피테크의 핵심 기술은 ‘감정 추정’ 이다. 카메라나 센서로 인간의 표정이나 생체 데이터, 행동 등을 파악해 그 데이터를 분석함으로써 기쁨, 분노, 슬픔, 당황 등의 감정을 유추한다.

현재, 다양한 기업 및 연구기관이 이와 같은 미래의 실현을 위해 감정추정 기술의 개발에 매진하고 있다. 이른바 ‘데이터 드리븐’이 아닌 ‘감정 드리븐’에 의한 개발 시대가 다가오고 있는 것이다.

-- 사람에게 다가가는 '공간'으로 --
감정추정 기술의 응용분야는 폭넓다. 앞에서 말한 자동차, 거리, 학교뿐 아니라, 주거, 직장, 스타디움·아레나, 극장 등 인간이 개재(介在)하는 모든 공간에 도입될 가능성이 있다.

2016년 리우 올림픽 폐회식 세리머니와 인기 여성 유닛 'Perfume'의 라이브 연출 등을 맡고 있는 크리에이터 집단 라이조마틱스 대표이사 사이토(斉藤) 사장은 도시 공간과 감정추정 기술의 융합에 기대를 걸고 있다. “건축물 및 도시라고 하는 하드웨어는 일단 만들어지고 나면 그 외견을 쉽게 변경할 수 없다. 따라서 주민의 QoL(Quality of Life) 향상을 위해 감정추정 등의 소프트웨어 측면에서 사람에게 다가갈 수 있도록 해나가지 않으면 안 된다. 거주자가 어떤 상태인지, 무엇을 요구하고 있는지 등을 추정·분석할 수 있다면, 도시에서 무엇을 제공해야 할 지가 잘 보이게 된다. 또한 주민의 감정·개성을 반영한다면 그 도시만의 문화도 탄생할 것이다”(사이토 씨).

“감정을 포함한 뇌 정보를 직접 주고받는 세계가 반드시 올 것이다. 그 충격은 처음으로 말(言)이 탄생했던 순간과도 같을 것이다”. 이렇게 말하는 것은 뇌 관련기술의 신규사업 창출에 주력하고 있는 NTT데이터경영연구소 뉴로 이노베이션(Innovation) 유닛 어소시에이트 파트너 이바라키(茨木) 씨이다. 그는 감정추정 기술 등이 고도로 발전한 사회에 대해 “지금까지 정보의 질은 주로 인간의 말에 의존해 왔다. 뇌 정보의 교환이 새로운 사회 인프라가 된다면 ‘말로 표현할 수 없는’ 정보의 전달을 뒷받침할 수 있게 된다. 정보가 늘어난 만큼 공유할 수 있는 것, 제공할 수 있는 것의 폭이 넓어져 다양한 산업의 성장을 견인하게 될 것이다”라고 미래를 예측한다.

-- 팽창하는 감정 추정 시장 --
현재는 카메라와 각종 센서의 정보 분석을 통해 감정을 추정할 수 있게 된 단계이지만, 향후의 기술 진화에 따라 가까운 장래에 앞에서 기술한 바와 같이 일상생활의 다양한 공간에서 제품 및 서비스 이용자의 감정을 읽고 적절한 피드백을 실시간으로 돌려주는 세계가 다가올 것이다.

실제, 감정추정 기술에 관한 제품이나 서비스 시장은 급속히 성장할 전망이다. 미국의 조사회사 Tractica에 따르면, 감정 인식·감정 분석의 소프트웨어 시장은 2025년에 38억달러(약 4,000억엔)의 규모에 이를 것으로 시산하고 있다. 2020년은 5억달러(약 520억엔)로, 향후 5년간 약 8배나 시장이 확대될 전망이다. 해당 회사는 감정추정의 응용처로서 고객경험(고객체험), 프로덕트 리서치(제품·시장조사), 자동차, 교육 등을 큰 시장으로 보고 있다. 시산은 소프트웨어 제품 위주여서 하드웨어 제품까지 포함한다면 시장규모는 한층 커지게 될 것이다.

-- 소니 EV는 차량 안에서 감정 추정 --
“안전뿐만 아니라, 인간의 기쁨과 같은 체험 가치를 높이기 위해 센싱 기술을 활용하고 싶다”. 이렇게 말하는 것은 소니에서 전기자동차(EV) ‘VISION-S’의 개발 프로젝트의 개발책임자를 맡고 있는 가와니시(川西) 씨(집행임원 AI로보틱스 비즈니스 담당)이다.

이 차량에는 수많은 센서가 달려 있다. 운행 시의 안전성을 높이기 위한 차량 외부의 센싱은 물론, 탑승자의 감정 등을 파악하기 위해 차내에 복수의 센서를 탑재하고 있다.

소니가 말하는 ‘체험 가치 향상’의 한 예는 차내 센싱을 이용한 게임이나 영상 작품 등 콘텐츠의 최적화이다. 콘텐츠의 소비 형태는 장소나 시간 등에 따라 달라진다. 만일, 향후에 자율주행차의 실내가 콘텐츠 소비의 장소 중 하나로 정착된다면 "소니는 차내 공간에 적합한 콘텐츠 방식을 모색해 나갈 필요가 있다. 또한 인간의 감정·행동을 파악하는 것이 유용하다”(가와니시 씨)고 한다.

오므론도 감정추정 기술 개발에 주력하고 있는 회사 중 하나이다. 탁구 로봇 포르페우스(6세대)는 탑재된 카메라로 로봇의 대결 상대의 표정 등을 포착해 감정을 추정한다. 상대편이 받아 치는데 어려움을 겪고 있는지, 아니면 랠리가 너무 쉬워 지루한지 등을 추정하고 공의 속도나 받아 치는 위치 등을 조정해 대결 상대의 모티베이션을 높인다.

그러나 개인의 능력이나 업무나 일의 난이도 또한 일상을 통해 변화한다. 그 때문에 균형 상태를 유지하기 어려우며 그것이 무너지면 성장 둔화와 좌절 등으로 이어진다. 이에 감정추정 기술을 통해 기계가 인간에 대한 자극을 조정해 성장을 촉진시키는 것을 목표로 하고 있다.

-- 파나소닉은 행복을 추구하는 새로운 조직 --
-- ‘미래 사회’의 맹아(萌芽) --
-- VR공간에서 기능 향상 --

Part 2. 사례
생활 속에 스며드는 감정추정, 집도 차도 사람에게 다가간다

다양한 업종의 기업이 감정추정 기술을 이용한 제품 및 서비스 개발을 추진하고 있다. 최종 목표는 사용자에게 행복감이나 만족감을 주는 것이지만, 그에 대한 접근법은 각양각색이다. 기술의 진화로 감정추정에 대한 문턱은 낮아졌지만, 그 결과를 어떻게 이용자에게 피드백 해 나갈지 등 향후에 검토해야 할 과제도 많다. 이에 최신 개발 사례를 살펴보겠다.

차량 실내, 주거, 오피스, 역, 학교, 거리 등 감정추정 기술을 도입할 수 있는 공간은 주변에 많이 있다. 이용자에게는 이 기술의 존재가 잘 보이지 않지만, 향후에는 일상생활에 불가결한 기술이 될 가능성이 있다.

여기서는 이용 케이스 및 공간별로 각 사가 어떠한 기술을 적용하려고 하는 지 등을 소개하겠다.

-- 차량 외부뿐만 아니라 차량 실내까지 센싱 --
최근 수십 년간 자동차 진화의 중심은 충돌 피해 경감 브레이크를 비롯한 ADAS(선진 운전 지원 시스템)에 있다. 자동차가 탑재한 카메라나 센서로 주위의 상황을 파악해, 운전자에게 정확하게 표시·경고하거나 드라이버를 대신해 자동차를 제어한다.

2020년대에 발매되는 가까운 미래의 차는 한층 더 차내를 센싱 하는 기능을 표준으로 탑재하게 될 가능성이 있다. 예를 들면 유럽에서는 자동차 어세스먼트를 담당하는 ‘EuroNCAP’가 2022년에 유아 방치 감지 기능을 시험 항목에 추가한다. 자동차 내에 유아를 두고 가는 것을 방지하기 위한 기능이다. 미국에서도 이 기능의 도입을 지지하는 움직임이 활발해지고 있다.

그 기능을 실현하기 위한 센서로서 유력시되고 있는 것이 60 GHz대의 밀리파 레이더다. 60GHz대는 차내에서 이용이 가능하며 거리분해능이 2.14cm로 높기 때문이다. 60 GHz대의 밀리파 레이더를 개발하는 인피니언 테크놀로지스 재팬의 우라카와(浦川) 씨(파워&센서 시스템즈사업본부 시니어 매니저)는 “자동차 안에 사람이 있는지 여부의 ‘존재 감지’, 승차 인원수를 파악하는 ‘승무원 감지’, 생체 데이터를 수집하는 ‘바이탈 센서’ 등에서 해당 레이더의 이용이 진행될 가능성이 있다”라고 말한다.

-- 소니의 EV는 차내에 ToF 카메라 --
소니가 개발하고 있는 전기자동차(EV) ‘VISION-S’는 그런 미래를 선취하고 있다. 차내의 지붕 부분에 거리 정보를 취득할 수 있는 ToF(Time of Flight) 카메라, 룸 미러에 카메라 등을 내장하고 있다. 특히 룸 미러 부분은 드라이버의 표정·행동을 파악한다고 한다. 표정뿐만이 아니라, 핸들이나 엑셀, 브레이크 등의 조작도 센싱해 나갈 생각이다. 그렇게 취득한 데이터로부터 드라이버의 집중 정도 등을 추정해, 집중력이 산만할 때는 경보를 울린다. 이는 안전성 향상에 대한 대응이지만, 소니는 시스템이 모든 것을 조작하는 자율주행차가 보급되는 미래도 내다보고 있다.

그 미래에서는 운전을 자동차에 맡기고 타고 있는 사람은 자신이 좋아하는 일이나 업무 등을 하는 세계, 즉 주거, 통근 전철 등과 더불어 게임이나 영상 콘텐츠를 소비하는 새로운 장소가 된다. “차내 공간이라고 하는 새로운 시장이 생길지도 모른다”라고 VISION-S의 개발 책임자인 카와니시(川西) 씨(VISION-S 집행위원 AI로보틱스 비즈니스 담당)는 말한다.

-- 교세라의 자동차는 오감에 호소 --
소니처럼 교세라도 자동차 제조사는 아니지만, 자율주행이나 MaaS(Mobility as a Service)로의 활동을 확대하는 가운데, 차내 공간의 중요성에 주목하고 있는 기업 중 하나다. 개발한 컨셉트카 ‘Moeye(모아이)’는 교세라가 생각하는 미래의 콕핏의 모습을 자사의 디바이스를 이용해 실현한 것이다.

그 특징 중 하나가 타고 있는 사람의 오감에 호소하는 장치다. 예를 들어 후각에 호소하는 아로마 방향기가 있다. 이는 타사와 공동 개발한 것으로 타는 사람의 기분에 맞춰 콕핏에서 5가지 향을 분사해 쾌적한 공간을 연출한다.

모아이의 경우, 현시점에서는 감정추정 기술을 탑재하고 있지 않다. 그러나 오감에 호소한 결과, 타고 있는 사람의 기분이 좋아졌는지, 그렇지 않았는지의 피드백은 개개인의 유저에 대해 최적의 차내 공간을 만들기 위해서 중요해 질 것이다.

-- 뇌과학의 활용으로 편안한 자동차 --
다른 어프로치로 ‘편안함’을 느끼는 자동차의 개발을 목표로 하고 있는 것이 혼다 기술 연구소다. 이 회사는 2019년 5월부터 뇌 정보통신 융합연구센터(CiNet)와 공동으로 자동차에 뇌과학을 응용하는 개발을 진행하고 있다. 뇌의 이해를 통해 다음 두 가지를 목표로 한다. 하나는 지금까지의 ‘관능 평가’에서는 파악되지 않았던 정보의 수집, 다른 하나는 드라이버의 운전 기능의 개선 등에 도움이 되는 ‘인지’의 향상이다.

기존의 자동차 개발은 경험 등을 바탕으로 한 관능평가를 기반으로 하는 부분이 많다. 예를 들어 핸들을 조작했을 때 얼마나 기민하게 차체가 휘어야 운전자의 피로가 적으며 기분 좋게 느끼는지 등을 듣고 조사해, 미세 조정을 반복하는 식이다.

그래서 뇌과학을 활용해 운전자의 '편안함'을 직접적으로 가시화하고 정량화하여 현장에서는 그 지표를 바탕으로 개발하는 연구를 하고 있다. 즉 뇌활동으로 감정을 추정하는 접근 방식이다.

혼다 기술 연구소 선진 기술 연구소 치프 엔지니어 야나기(柳) 씨는 “인간은 효자손을 사용할 때, 그 끝이 어디에 있는지를 바로 알게 된다. 자동차도 계속 운전하다 보면 효자손처럼 어디에 차의 끝이 있는지를 무의식적으로 알게 된다. 단지, 거기에는 익숙함이 필요하다. 뇌과학 등을 통해 금세 익숙한 도구가 되도록 지원해 나가고 싶다”라고 말한다.

구체적으로는 운전 중에 어디로 시선을 돌려야 할지 등의 조언을 통해 운전자의 긴장감이나 당혹감을 줄이고 기능 향상에 대한 학습 효과를 높여 가는 것이 목표다.

-- 표정, 생체, 설문조사를 통해 감정추정 --
-- 가전에도 감정 추정 --
-- ‘곤란한 표정’을 통해 지원이 필요한 지를 판정 --
-- 확산하는 '행복도 경제권' --

Part 3. 요소 기술
감정추정, 진화의 이면에 AI, 뇌 분석에 커다란 가능성

인간의 감정을 추정하는 기술은 다양하다. 감정은 표정 등 겉으로 드러나는 것뿐만 아니라 드러나지 않는 것도 있어 추정기술을 목적이나 상황에 따라 구분할 필요가 있다. 최근 뇌활동으로부터 직접 추정하는 기술도 등장하고 있다. 해피테크의 핵심을 이루는 감정추정 기술 중 최신 개발 사례를 소개하겠다.

인간의 감정은 ‘표정’ ‘몸의 움직임이나 몸짓’ ‘목소리’ ‘체온’ ‘심박수’ ‘뇌활동’ 등 여러 가지 것으로부터 읽어 내는 것이 가능하다. 표정이나 몸짓 등 겉으로 나타나는 것은 카메라의 영상으로부터 비접촉으로 추정할 수 있다. 그러나 표정은 변하지 않아도 실제로는 긴장을 할 수도 있기 때문에 영상만으로 전부를 검출하기란 어렵다. 그럴 경우, 심박수이나 땀 등을 센서로 계측하면 긴장도를 쉽게 검출할 수 있다.

비접촉으로는 계측할 수 없어 웨어러블 단말기 센서처럼 간단하게는 측정할 수 없지만, 뇌활동이라면 잠재의식을 포함해 마음의 변화를 읽어낼 수도 있다.

-- 모티베이션 향상에 게임의 힘 --
오므론이 개발한 플레이어(대결 상대)의 반응을 보고 모티베이션이 높아지도록 받아 치는 공을 조정하는 탁구 로봇 ‘포르페우스’는 감정추정 기술을 사용하고 있다. 그 핵심은 ‘OKAO Vision’이라고 불리는 소프트웨어 기술이다. 탁구대의 네트 중앙에 설치한 카메라로 플레이어의 표정을 촬영해 감정을 분석한다.

또한 ‘rPPG(remote Photoplethysmography)’라고 불리는 기술을 통해 비접촉으로 심박수를 측정한다. 구체적으로는 플레이어 피부로부터의 빛의 반사로 측정한다. 혈관 내의 혈액량에 따라 인체가 흡수하는 빛과 산란광의 양이 변동하는 것을 이용하여 반사광의 변화로 심박수를 측정한다. 이들 데이터로부터 감정을 추정해 랠리에 대한 의욕과 여유를 잃은 Sad, 의욕은 있지만 여유가 없는 Angry, 너무 여유가 있어 지루해 하고 있는 Relax, 의욕도 여유도 최적의 상태인 Happy라는 4상한(象限)으로 평가한다. 여기에 플레이어의 신체 동작 등을 통해 추정한 레벨 데이터를 조합해 탁구의 반구(返球) 계획을 세운다. 가령 플레이어가 랠리에 여유가 없다고 추정될 경우, 탁구 로봇이 공의 속도·위치를 조절해 여유를 되찾게 한다.

-- 시각장애인에게 '표정' 전달 --
-- 가상 뇌로 음악 트렌드 예측 --
-- 뇌활동과 행동 데이터를 대조한다 --
-- 근육의 움직임으로 표정을 파악한다 --
-- 환경음으로부터 감정 식별 --

-- 감정추정의 미래에 BMI 기술 --
기존의 기술로는 취득할 수 없는 잠재적인 것을 포함해 감정 데이터를 뇌에서 직접 취득하는 데 기여할 것으로 보이는 미래를 위한 기술 개발도 진행되고 있다.

바로 BMI(Brain Machine Interface)이다. 이 기술을 사용해 뇌 자체로부터 데이터를 얻게 되는 세계가 도래할 지도 모른다. 일론 머스크 씨가 CEO를 맡고 있는 미국 스타트업의 Neuralink는 2020년 8월에, 뇌에 전극을 직접 심어 넣는 기술의 진척 상황을 발표했다. 동시에 뇌에 전극을 심는 수술을 하는 로봇도 소개했다.

아직 실용화까지는 시간이 필요한 기술이지만, 의학 박사이자 하코스코 대표이사 후지이(藤井) 씨는 “우선은 일부 사람들의 뇌의 잃어버린 기능을 보충하기 위해 이용이 진행될 가능성은 충분히 있다. 그 과정에서 뇌 활동에 관한 데이터가 모여들면서 (감정·의식 등을 관장하는) 뇌 구조를 이해하는데 중요한 데이터를 얻을 수 있을 것이다”라고 기대하고 있다. BMI의 발전은 감정추정 기술의 적용범위 확대에 크게 기여할 가능성이 있다.

 -- 끝 --

Copyright © 2020 [Nikkei Electronics] / Nikkei Business Publications, Inc. All rights reserved.