전기전자/정보통신

전기통신_2019.12. Vol.82 No.875 기술동향 (p16-22)

비접촉 센싱에 의한 맥파∙맥박수 추정 기술
NTT서일본(서일본전신전화주식회사) 나가타 히사시(永田尚志) 씨

1. 머리말
최근에 건강에 대한 의식은 개인이나 기업, 지방자치단체를 불문하고 높아지고 있다. 때문에 신장, 체중, 체질량 지수와 함께 체온이나 맥박수, 혈압, 소비칼로리 등의 다종다양한 바이탈 데이터를 매일 측정해 관리하고자 하는 요구가 강해지고 있다. 2022년에는 헬스케어 관련 기기 국내 시장은 2,728억엔이 될 것으로 예측하는 등 수요는 높아지고 있다.

또한 사회 과제 중 하나인 생활습관병에 대해 ‘중증화된 후의 치료’에서 ‘미병(未病) 케어∙예방’으로 시프트하는 건강 경영의 움직임이 활성화되고 있다. 미병(未病)이라는 것은 건강한 상태에서 질병으로 옮겨가기 전의 중간 상태를 나타내는 말이다. 미병 케어∙예방을 통해 개인으로서는 건강 수명의 연장, 기업으로서는 생산성 향상이나 이직률 저하, 기업 이미지 향상을 도모할 수 있다. 지방자치단체는 의료비나 개호비를 절약할 수 있을 것으로 보고 있다.

건강 경영 시장은 2020년에 1조 6,700억엔이 될 것으로 예측되고 있다. 시장의 내역을 보면 법령준수∙리스크매니지먼트 영역과 마찬가지로 종업원의 건강 유지증진 영역의 비율이 많다. 이를 통해 업무상 의무화되고 있는 건강관리 관점 이외에서 종업원의 건강을 과제로 생각하고 있다는 것을 알 수 있다.

한편으로 질병이 되기 전의 미병 상태를 조기에 감지하기 위해서는 일상적으로 바이탈 데이터를 계측하고 기록해서 자기 자신의 컨디션을 파악해야 한다. 때문에 현실적으로 미병 케어∙예방에 대한 대처가 불가능하다. 특히 바이탈 데이터는 개인차가 심하다. 미병 진단을 위해서는 중장기적으로 일상의 변화를 관찰하는 것이 중요하다. 예를 들면 일년에 한번의 정기검진으로는 장기적인 추이밖에 알 수 없기 때문에 질병을 진단하는 것은 가능하지만 미병과 같은 평상시와의 차이를 민감하게 감지하는 것은 어렵다.

IoT 디바이스나 센서가 급속하게 보급됨으로써 데이터 취득이 보다 쉬워졌다. 무선 단말이라고 불리는 헬스밴드나 스마트워치 등의 접촉형 기기가 있지만 디바이스는 장착하는 번거로움이나 단말 비용 등 이용자에게 부담을 주게 된다. 또한 개개의 디바이스에 대한 메인터넌스나 조작 방법 매뉴얼 등의 케어를 고려하지 않으면 안 된다.

NTT서일본 R&D센터에서는 일상생활 속에서 누구나 쉽게 바이탈 데이터를 수집하고 관리할 수 있도록 하기 위해 비접촉 센싱 기술에 착수하고 있다. 예를 들면 컴퓨터 앞에서의 데스크워크나 운전, 학교에서의 공부 등 업무 상 디바이스 장착에 제한이 있는 경우나 대상자 전원에게 디바이스를 배포하거나 착용을 의무화하는 것이 곤란한 기업이나 지자체에서의 이용을 상정하고 있다.

바이탈 데이터 수집의 습관화를 통해 건강의 변화를 민감하게 감지할 수 있고 조기에 미병에 대처할 수 있을 것으로 생각한다. IoT 디바이스나 센서는 무수하게 존재한다. 카메라가 광범위하게 일반적으로 침투해 있기 때문에 기존의 카메라를 이용해 비접촉 센싱 기술을 확립해 나가는 것을 목표한다.

본고에서는 카메라를 통해 맥파를 비접촉으로 정확하게 추정하는 기술에 대해 보고한다.

2. 맥파와 맥박 수에 대해
심장이 주기적으로 수축함으로써 혈액을 몸 전체에 순환시키고 있다. 그 때 발생하는 박동이 맥박 수이며, 박동에 동반하는 혈액량의 변화를 표현한 것이 맥파다. 맥박 수의 단위는 bpm(bit per minute)을 사용하며, 1분 동안의 맥박 수를 나타낸다. 성별이나 연령, 개인에 따라 차이가 있지만 일반적으로 안정적일 때의 평균 맥박 수는 성인 정상치는 60~80bpm, 50bpm 이하는 서맥, 100bpm 이상은 빈맥과 같은 지표가 된다. 맥파에 의해 맥박 리듬을 가시화할 수 있고, 불규칙한 상태는 부정맥이라고 한다.

또한 맥파를 통해 다양한 바이탈 데이터를 수집할 수 있는 가능성이 있기 때문에 가장 유익한 바이탈 데이터 중 하나라고 생각하고 있다. 예를 들면, 맥파를 통해 스트레스 수치나 혈압, 졸음을 추정할 수 있기 때문에 맥파를 고정밀도로 추정하는 것은 상당히 중요하다.

3. 맥파∙맥박수 추정 기술의 알고리즘
맥파를 추정하기 위해서는 인체의 혈류 정보를 파악할 필요가 있다. 혈액의 대부분은 적혈구로 구성되며 적혈구에는 헤모글로빈이 포함된다. 헤모글로빈은 빛의 녹색 성분을 흡수하는 성질이 있다. 때문에 혈류량이 증가하면 헤모글로빈은 비례해 증가하고, 녹색 흡수량은 반비례해서 감소한다. 그 성질을 이용해 카메라로 촬영한 얼굴 피부 부분의 동영상을 RGB(빨강∙녹색∙파랑) 표현 형식으로 취득해서 피부에서 반사된 녹색 성분의 변화량을 추적할 수 있다면 헤모글로빈의 증감, 즉 혈류 정보인 맥파를 비접촉으로 추정할 수 있게 된다.

그러나 접촉형의 맥파 센서와 달리 카메라로 추정하는 경우는 녹색 빛을 직접 조사할 수 없기 때문에 가시광의 반사를 통해 판단해야 한다. 그 때문에 주위의 노이즈에 영향을 받기 쉽다. 따라서 적절한 노이즈 제거나 보정 기술을 이용해야 고정밀도로 맥파를 추정할 수 있다.

맥파∙맥박수 추정 기술에 관한 추정 플로우를 살펴보자. 촬영한 동영상을 이미지로서 1장씩 해석 처리한다. 우선 이미지에 대해 중간값 필터(Median Filter)를 적용한다. 이 처리를 통해 촬영한 이미지 내의 노이즈를 윤곽 등의 엣지를 손상시키지 않고 제거할 수 있다. 이어 얼굴 인식을 통해 얼굴의 피부 부분을 추출한다.

얼굴 인식을 이미지 1장 1장에 적용해 직사각형 추출을 하면 눈 깜박거림 등의 미세한 움직임에 반응하면서 추출하는 직사각형의 범위가 변동하기 때문에 같은 피부 부분을 항상 추출할 수 없다. 따라서 이번 실험에서는 처음에 얼굴 인식에 의해 추출한 직사각형의 위치와 크기는 고정해서 계속 추출했다. 추출한 직사각형 내의 녹색 성분의 평균치를 산출, 그것을 시계열 순으로 유지해 나간다.

이를 플롯(plot)하면 맥파가 되지만 기본값에는 맥파 이외의 성분이 포함되어 있을 가능성이 있다. 예를 들면, 신체 동작이나 호흡 변동에 의해 발생하는 신호가 포함된다. 그 때문에 얻어진 수치에 대해 필터링 처리를 적용함으로써 맥파 이외의 주파수대를 제거한다.

또한 동영상 촬영 시에 미묘한 환경 변화가 발생하는 일이 있기 때문에 얻어진 시계열 신호 데이터에 이동 평균을 적용함으로써 시간에 의한 노이즈 변동을 매끄럽게 한다.

또한 카메라의 프레임 레이트가 작으면 플롯할 수 있는 점의 수가 적어 맥박수 산출에서 중요한 맥파의 산의 정확한 위치를 산출할 수 없기 때문에 점과 점 사이를 보간(補間, Interpolating)한다.

이들을 통해 얻어진 녹색 신호의 시계열 데이터를 플롯하면 맥파가 되고, 맥파에서 산과 산의 간격을 산출해 그 평균치를 취함으로써 맥박수를 산출할 수 있다. 그러나 맥박수를 산출할 때는 인간의 현실적인 맥박수 간격 외의 것에 대해서는 노이즈로서 제거해 산출한다.

4. 실험 내용
촬영은 시판 카메라로 촬영, 화면비율(Aspect Ratio)은 16:9로 고정하고 1920ⅹ1080의 30FPS, 1920ⅹ1080의 60FPS, 1280ⅹ720의 240FPS의 3개 패턴으로 동영상을 촬영했다. 촬영 거리는 얼굴과 카메라가 약 50cm가 되도록 하고 촬영 시간은 20초로 했다. 또한 태양광 등의 외적 요인이 정밀도에 영향을 미칠 가능성이 있기 때문에 외적 요인을 최소한으로 억제하기 위해 측정은 실내에서 이루어졌다. 또한 고정밀도로 맥파를 추정하기 위해서는 같은 위치의 혈류정보를 취득할 필요가 있기 때문에 피험자는 앉아서 편한 상태에서 가능한 한 움직이지 않도록 해 촬영했다. 피험자는 20~40대의 남녀로 했다.

실험에서는 시판 제품의 상완식 커프 타입의 맥박수 계측기기를 정답 데이터로 하고, 카메라 촬영과 동시에 계측했다. 상완식 커프 타입의 맥박수 표시는 정수이기 때문에 카메라를 이용한 추정 결과는 소수점 이하를 버리고 맥박수의 평균 편차에 따라 평가했다.

5. 평가결과
평균 편차는 30FPS, 60FPS, 240FPS에서 각각 1.94bpm, 1.32bpm, 1.21bpm으로 고정밀도로 맥파를 추정할 수 있다는 것을 알 수 있다. 프레임 레이트가 높아질수록 맥박수 정밀도는 향상되지만 대폭적인 개선은 볼 수 없다. 60FPS에서 정밀도는 최고점이며, 30FPS에서도 충분한 정밀도를 유지하고 있다는 것을 알 수 있다.

개개의 측정 결과를 보면, 피험자의 맥박수의 참값은 50~85bpm으로 차이가 있지만 맥박수의 대소에 관계없이 모든 프레임 레이트에서 참값에 가까운 수치로 추정이 가능했다는 것을 알 수 있다. 오차가 0bpm이 되는 측정 횟수와 최대 오차를 조사했다. 결과는 30FPS에서는 1회, -5bpm, 60FPS에서는 7회, -4bpm, 240FPS에서는 4회, 4bpm이었다. 30FPS에서 참값을 예측 가능했던 측정 횟수는 적었지만 큰 차이는 없다는 것을 알 수 있다.

맥파의 경우는 모든 프레임 레이트에서 분명하게 박동을 판독할 수 있다. 맥박수와 마찬가지로 프레임 레이트에서 큰 차이는 볼 수 없다. 또한 촬영 개시 시에 녹색 휘도에 큰 기복을 볼 수 있다. 촬영 개시 직후의 카메라나 촬영 대상자의 불안이 영향을 미쳤다고 생각할 수 있다.

6. 맺음말
NTT서일본 R&D센터에서 착수하고 있는, 일상생활에서 자연스럽게 건강 상태를 파악하는 것을 목적으로 한 비접촉 센싱에 의한 맥파∙맥박수 추정 기술에 대해 소개했다.

이번 실험에서는 카메라 프레임 레이트를 30FPS, 60FPS, 240FPS으로 설정해 비접촉에 의한 맥파∙맥박수 추정을 실시했다. 커프식과 비교한 결과, 맥박수 평균 편차 ±2bpm 이하를 달성할 수 있었다. 프레임 레이트를 높게 함으로써 정밀도는 향상되지만 대폭적인 개선은 볼 수 없었다.

앞으로는 맥파 추정의 정밀도를 유지하면서 건물 내외를 불문하고, 촬영 거리나 동작 여부에도 관계 없이 보다 단시간에 계측할 수 있도록 편리성을 향상시켜 나간다. 동시에 혈압이나 졸음을 추정할 수 있도록 발전시켜 사람들의 건강 증진에 공헌하고 싶다.

 -- 끝 --