일본산업뉴스요약

Start Up Innovation / Science
흑백 영상을 AI 활용으로 신속하게 컬러화
NHK, 8,000만개 화면 학습해 판단

1964년 도쿄올림픽을 계기로 급속도로 보급된 컬러TV는 사람들에게 놀라움과 감동을 전해주었다. 이후 반세기가 지난 지금, NHK방송기술연구소는 과거의 흑백 영상을 신속하게 컬러로 바꾸는 신기술을 개발했다. AI를 활용, 완성 속도가 기존의 수작업에 비해 수 천 배로 빨라졌다. NHK방송기술연구소는 외부 기업과의 기술 협력도 추진할 계획으로, 다시 한번 새로운 감동을 전할 수 있을 것으로 전망된다.

“이 모양은 산이기 때문에 녹색일 것이다”. NHK방송기술연구소의 새로운 시스템에 도입된 AI는 자동으로 흑백 영상에 색을 입힌다. 우선 영상을 디지털화하고 영상에서 보이는 사물이 무엇인지 AI가 판단한다.

-- 효율성이 크게 향상 --
지금까지 흑백 영상을 컬러화 한 프로나 영화는 있었다. 하지만 이들 모두 기본적으로는 전문가가 한 장면씩 수작업으로 착색해야 할 필요가 있었다고 한다. 이 때문에 수 초의 영상을 컬러화하는데 수 일이 걸렸지만, 새로운 시스템을 이용한다면 5초 정도의 영상의 경우 30초~5분 만에 컬러화할 수 있다. 작업의 효율성이 현격히 높아져 인건비 등 비용도 큰 폭으로 줄일 수 있다.

도입된 AI는 올바른 색을 판단하기 위해 NHK에서 과거에 방송했었던 약 2만개 프로그램, 8,000만 화면 분의 영상을 학습했다. 8~9개월 분량의 프로그램에 해당되는 양이다. 내용도 다큐멘터리에서 드라마, 스포츠, 애니메이션 등 다양하다. 컬러 영상과 그것을 흑백으로 가공한 영상을 AI에게 학습시켜 흑백 영상에서 컬러 영상을 추축할 수 있도록 했다.

AI는 영상에서 보이는 사물의 모양을 인식해 각각의 색깔을 판단한다. 하지만 옷이나 건물 등 판단하기 어려운 것들도 있다. 이러한 약점을 보완하기 위해 NHK방송기술연구소는 수정하고 싶은 부분의 색을 사람이 판단하면 AI가 최적의 색으로 바꾸는 시스템도 도입했다.

예를 들어 등장 인물이 입고 있는 재킷의 색이 파란색일 경우, 재킷 일부를 사람이 파랗게 색을 칠해놓으면 AI가 재킷의 전체 모양을 인식해 파란색으로 한다. 또한 흑백 영상에서 얼룩이나 그림자 등을 판단해 색의 농도도 자동으로 보정한다.

이러한 방법을 통해 보정이 필요한 부분을 모두 수작업으로 다시 칠할 필요가 없어진다. “사람이 수작업으로 하던 보정이 AI를 통해 간단히 해결되는 시스템을 도입함으로써 보다 정밀한 컬러 영상을 만들 수 있다”라고 한다.

이 기술은 영상의 컬러화에서 문제가 되는 화면 간의 다른 미묘한 색의 차이를 보정하는데도 도움이 된다. 사진과는 달리 영상은 색을 입힌 화면을 연속으로 내보내야 하기 때문에 색의 불균형이 나타날 가능성이 있다. 예를 들어 어떤 장면에서는 밝았던 하늘이 다음 화면에서는 어두워질 수 있다. 이 경우 플리커(Flicker)현상이 나타난다. 새로운 시스템에서는 색의 불균형이 나타날 경우 사람이 최적의 색을 선택. AI가 그 화면 색을 기준으로 전후 장면의 색을 보정한다.

이번 기술 개발이 시작된 것은 거의 1년 전이다. 영상을 인식하거나 색을 추측하는 등의 AI를 60종류 개발. 그 가운데 사람의 이미지에 가까운 색을 구현할 수 있는 AI를 선택했다. 이번 기술은 8월에 NHK방송기술연구소에서 방송 예정인 다큐멘터리 ‘NHK 스페셜’에서 처음으로 도입된다. 일본과 구소련의 전쟁에 관한 영상을 컬러화해 생생함을 전달할 예정이라고 한다.

-- 외부와 기술 협력 추진 --
NHK방송기술연구소는 이번 기술을 외부 기업∙단체가 활용할 수 있도록 기술 협력도 추진할 계획이다. 인터넷서비스기반연구부의 가와이(河合) 상급연구원은 “세계에는 역사적으로 가치가 있는 영상이 많다. 컬러화 기술은 일본뿐만 아니라 해외에서도 수요가 전망된다”라고 말한다.

NHK방송기술연구소는 연구 개발의 중점 테마 중 하나로 프로그램 제작에 AI를 활용하는 방안을 내걸고 있다. 흑백 영상을 컬러화하는 것 외에도 기자회견 등 취재 영상의 음성을 실시간으로 문자화하는 시스템 등의 연구를 추진하고 있다.

올 2월의 평창올림픽에서는 AI를 통한 ‘로봇 실황’도 처음으로 선보였다. IOC 산하의 올림픽방송기구가 전송하는 실시간 경기 데이터를 바탕으로 일본어 실황 문장을 자동으로 작성. 영상에 맞게 음성을 합성해 아이스하키와 컬링 등의 경기 실황을 전송했다.

앞으로도 수화 CG 작성 및 영상을 자동으로 요약하는 시스템 등, 다양한 분야에서 AI를 활용해나갈 계획이다. NHK방송기술연구소의 구로다(黑田) 소장은 “AI를 활용해 프로그램 제작을 효율화하는 ‘스마트프로덕션’을 추진해나갈 것이다”라고 말한다.

 -- 끝 --