일본산업뉴스요약

4Nikkei X-TECH_2022.3.9

심층 탐구 선진 사례
야마토운수, 화물량 예측 시스템 도입
AI 개발·운용을 효율화하는 새로운 시스템이란?

야마토운수가 디지털의 힘을 이용해 물류 변혁에 도전하고 있다. 배송 현장의 생산성 향상을 위해 AI를 이용한 화물량 예측 시스템을 도입. AI 개발 및 운용·유지보수를 원활히 관리하는 새로운 방법인 ‘MLOps’도 도입했다.

그 선구적인 대응으로 야마토운수는 2021년 1월까지 배송센터에서 취급하는 화물량을 예측하는 새로운 데이터 분석 시스템을 본격적으로 도입했다. 이 시스템은 마이크로소프트의 클라우드 서비스 ‘마이크로소프트 애저(Microsoft Azure)’ 상에 구축. 과거 4년분의 화물 집하 데이터 및 배송 데이터 등을 기본으로 한 기계학습 알고리즘을 이용해 전국 약 6,500개 배송 센터에 언제, 어느 정도의 화물이 도착할지를 예측한다.

새로운 시스템의 주된 목적은 배송 센터에서 일하는 스태프와 화물을 옮기는 트럭 등 경영 자원 배치를 최적화하는 것이다. 야마토운수는 배송 센터를 통해 연간 21억개(2021년 3월기)의 방대한 화물을 고객에게 배송하고 있다. 각 센터에서 취급하는 화물량은 지역마다 차이가 있으며, 계절이나 요일에 따른 차이도 크다. 또한 최근에는 대형 온라인 판매회사가 세일을 실시했을 때 등, 갑자기 늘어나는 케이스도 확대되고 있다.

배송 센터에서는 화물량의 변동을 미리 계산해 직원의 근무 교대를 계획하거나, 트럭을 사전에 준비해야 한다. 지금까지는 현장 담당자의 경험과 감에 의존해왔다. 새로운 시스템은 배송 센터별로 3~4개월 후에 도착하는 하루 화물량을 오차 수%의 정밀도로 예측. 경험이 적은 담당자도 BI 툴 등으로 예측 결과를 확인해 근무 교대나 배차 계획을 효율적으로 책정할 수 있다고 한다.

-- AI의 개발·운용에 MLOps --
이번 새로운 시스템의 특징은 예측 모델 개발 및 운용, 유지보수와 같은 기계학습의 사이클을 원활하게 진행하기 위한 통합적인 관리 방법인 MLOps(Machine Learning Operations)를 도입한 점이다. MLOps는 어플리케이션 개발에 있어서의 데브옵스(DevOps) 개념을 기계학습에 응용한 것으로, 예측 모델의 신속한 개발과 실전 환경에서의 예측 정밀도 유지에 효과적이라고 알려져 있다.

일본에서는 벤처기업이나 인터넷기업이 MLOps에 대응하기 시작했지만, 야마토운수와 같은 대기업이 본격적으로 도입한 케이스는 드물다.

야마토운수는 기계학습 사이클을 자동으로 실행하는 고도의 MLOps도 구현했다. 구체적으로는 마이크로소프트가 서비스형 플랫폼(PaaS)을 통해 제공하는 기계학습 툴을 활용하면서 데이터 수집, 가공, 기계학습, 예측처리, 예측결과 및 실적 비교평가 같은 작업의 대부분을 자동화했다.

이를 통해 데이터 사이언티스트의 작업 공수가 큰 폭으로 줄어 예측 모델의 신속한 개발이 가능하게 되었다고 한다. “일반적으로 데이터 사이언티스트의 업무시간 가운데 90%는 데이터 전처리 등의 작업에 소비되고 있다. 하지만, 당사는 예측 모델 개발에 주력 할 수 있는 환경과 체제를 갖추고 있다”라고 야마토운수의 나카바야시(中林) DX추진 담당 집행위원은 강조한다.

-- PaaS를 활용해 기반 쇄신 --
화물량 예측 시스템은 주로 야마토홀딩스가 구축한 클라우드 상의 데이터 분석 환경 ‘구로네코 빅데이터 기반(KBD기반)’과 그것을 이용해 산하의 야마토운수가 구축한 MLOps 환경으로 구성되어 있다. 앞서 개발된 것은 KBD기반이다.

초기 KBD기반은 클라우드 상에 각 벤더가 제공하는 데이터베이스와 ETL(추출, 변환, 적재) 기능을 갖춘 미들웨어 등을 설치해 운용하는 형태였다. 이 때문에 미들웨어를 도입한 OS 패치를 담당자가 수동으로 적용하거나, 데이터베이스가 이용하는 자원을 관리하는 등의 유지보수를 위한 번거로움이 컸다.

이러한 번거로움을 줄이기 위해 야마토홀딩스는 2020년 6월, KBD기반을 쇄신. 새로운 기반은 마이크로소프트 애저가 제공하는 기계학습 통합 플랫폼 ‘Azure Synapse Analytics’를 중심으로 구축했다. 학습 데이터의 공급원이 되는 업무 시스템은 온프레미스(On-premise) 환경에서 운용하고 있다.

새로운 KBD기반을 이용한 기본적인 데이터 분석 흐름은 다음과 같다. 업무 시스템 데이터는 애저의 데이터레이크(Data Lake) 서비스 ‘Azure Data Lake Storage’에 집약한다. Synapse Analytics에 포함되어 있는 데이터 통합 서비스 ‘Azure Data Factory’를 이용해 ETL 처리를 실시한 후, 오브젝트 스토리지 ‘Azure Blob Storage’에 저장. 이 데이터에 예측 처리를 실시해 결과를 얻는다.

-- 블로그를 참고해 MLOps를 구현 --
MLOps는 2020년 7월부터 정비를 시작, 2021년 1월에 본격적으로 운용되기 시작했다. 그 계기는 2020년 전반에 화물량 분석 시스템의 PoC(개념 검증)를 가동한 후 드러난 작업 부하의 문제였다.

야마토운수의 약 6,500개 배송 센터에서 생성되는 실적 데이터는 한 달에 약 100기가바이트에 이른다. 이 방대한 데이터를 수집 및 가공해 학습 데이터를 준비하거나, 예측 모델을 생성하는 프로그램을 관리하는 등의 작업을 PoC에서는 데이터 사이언티스트나 엔지니어 등이 실시했다.

그 작업은 매우 다양하고 번거롭기 때문에 기계학습 과정을 대략적으로 실행하는 데에도 일주일이 넘게 걸렸다. 이 때문에 중요한 예측 모델 수정 등에 한 달 가깝게 걸리는 경우도 있었다.

기계학습의 예측 정밀도를 유지 및 향상시키려면, 많은 예측 모델을 신속하게 개발해 지속적으로 개선할 필요가 있다. 이를 위해 야마토운수는 2020년 7월부터 AI 관련 소프트웨어를 개발하는 엑사위저드(exawizards)와 연계해, MLOps 구현을 추진했다. 당시의 상황에 대해 야마토운수의 나카바야시 집행임원은 “MLOps의 개념은 알고 있어도 현실의 시스템에 구현하는 방법에 대한 정보가 매우 적어 힘들었다”라고 말한다.

이러한 가운데 “(엑사위저드는) AI에 대한 지식뿐만 아니라, AI에 관련된 프로덕트나 서비스의 실적, 인적 네트워크도 가지고 있었다”(나카바야시 집행임원)라는 점을 평가해 프로젝트를 함께 추진하기로 결정했다.

야마토운수와 엑사위저드는 MLOps 구현에 구글이 공개한 기술 블로그를 참고했다고 한다. 구글은 MLOps의 숙련도에 따라 3가지 레벨을 정의하고 있다. 레벨 0은 데이터의 추출·가공부터 학습과 예측, 평가까지 기계학습의 과정을 모두 수동으로 실행한다.

레벨 1에서는 레벨 0에서 수동이었던 프로세스를 자동화해, ‘기계학습 파이프라인’을 구축한다. 기계학습 파이프라인은 검증용과 실전용을 병용. 한층 더 포괄적인 CI(Continuous Integration, 지속적 통합)/CD(Continuous Delivery, 지속적 제공)를 정비하면 레벨 2로 규정된다.

-- 2개의 파이프라인으로 공정 수 단축 --
야마토운수가 도입한 것은 레벨 1의 MLOps 환경이다. 구체적으로는 우선 검증 환경의 기계학습 파이프라인을 통해 PoC에서 1주간 걸리던 기계학습에 필요한 작업 실시 기간을 최대 1일에서 수 일 이내로 단축했다. 파이프라인을 반복적으로 실행해 완성도를 높이고, 월말에 실제 환경에 적용해 실제의 업무에 사용하고 있다.

검증용과 실전용 2개의 기계학습 파이프라인을 이용함으로써 데이터 사이언티스트의 작업 공수는 작업의 자동화 이전에 비해 대략 3분의 1로 줄었다. 그 결과, "데이터 사이언티스트가 예측 모델 개발 시 시행착오의 기회가 크게 늘어, 예측 정밀도의 향상 및 시스템의 안정 운용으로 이어졌다”라고 야마토운수의 MLOps 도입을 지원한 엑사위저드의 모우리(毛利) AI플랫폼사업부 AI컨설턴트는 말한다.

야마토의 MLOps에서는 현재 실전 환경에서의 예측 정밀도 유지에 필요한 ‘재학습’ 프로세스는 수동이다. 재학습이 필요한 것은 예측 모델 개발 시에 사용했던 데이터와 실전 환경에서 운용하고 있는 예측 모델이 취급하는 데이터 간에 차이가 발생하기 때문이다. 미국 데이터로봇의 기계학습 모델 개발 지원 소프트웨어 ‘DataRobot’ 등을 이용해, 예측치와 실적치의 오차 등을 모니터링. 오차의 확대나 학습 조건 변경이 있을 경우, 재학습해 예측 모델을 수정한다.

야마토운수는 향후, 화물량 예측 시스템의 고도화를 추진할 방침이다. 현재의 거점 단위뿐만이 아니라, 자사가 제공하고 있는 택배 서비스별 화물량 등도 높은 정밀도로 예측할 수 있도록 할 계획이다. 또한 KBD기반의 적용 범위도 확대해, 회원 서비스 분석 등 마케팅에 응용할 수 있도록 정비해나갈 방침이다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved