일본산업뉴스요약

Nikkei X-TECH_2022.5.9

음악이 치매 예방으로 이어질 수 있을까?
작곡 AI를 이용한 산학 연계 프로젝트 시동

음악이 인지기능에 미치는 효과를 검증하는 프로젝트가 시작되었다. 고령자를 대상으로 인공지능(AI)을 이용한 ‘유사(Pseudo) 작곡’ 체험을 제공해 인지기능에 변화가 생기는지를 확인하는 프로젝트이다.

AI를 이용한 작곡 지원을 담당하는 아마데우스코드(Amadeus Code, 도쿄)와 도쿄도립산업기술대학원대학이 공동으로 추진하는 연구 프로젝트로, ‘음회(音會)’라는 이름으로 올 2월에 개최되었다. 향후에는 치매 예방을 위한 음악 교실로서 사업을 전개해나가는 것을 목표로 하고 있다.

음회는 하이쿠(俳句)를 읊는 구회(句會)나, 그림을 그리는 화회(画會)와 같은 취미를 가진 사람들이 모여 작품을 서로 평가하는 것에서 착상을 얻은 기획이다. 도쿄도립산업기술대학원대학의 사토(佐藤) 특임교수는 “AI를 이용하면 누구라도 작곡을 즐길 수 있다. 작곡 체험이나 다른 참가자의 견해 및 감상을 접하는 것은 인지기능의 유지〮향상에 도움이 될 수 있다고 생각했다”라고 프로젝트 구축 경위에 대해 설명한다.

음악은 귀를 통해 얻는 마음의 양분으로, 심신에 좋은 영향을 준다고 알려져 있다. 최근에는 음악요법을 과학적으로 검증한 연구들도 추진되고 있으며, 음악에 맞춰 운동을 함으로써 파킨슨병의 증상이 개선되었다는 사례도 유명하다.

음악에는 감상이나 연주 등 다양한 접근법이 있다. 그 가운데 작곡에 초점을 맞춰 인지기능에 미치는 영향을 검증하고 치매 발병 예방과 진행 억제를 목표로 하는 프로젝트가 음회이다. 아마데우스코드의 이노우에(井上) 대표이사는 “작곡은 자신의 이미지를 표현해 음악의 의미를 생각하는 가장 능동적이고 수준 높은 활동이기 때문에 인지기능에 미치는 영향도 크지 않을까 생각된다”라고 말한다.

하지만, 일반인이 처음부터 곡을 만드는 것은 쉽지 않다. 그렇기 때문에 활용하는 것이 아마데우스코드의 음악 전송 플랫폼 ‘이보크뮤직(Evoke Music)’이다. 이보크뮤직에 자신이 만들고 싶은 곡의 이미지를 언어화해 입력하면, 그 키워드를 바탕으로 AI가 작곡한 곡이 제시된다. 이용자는 제시된 곡과 자신의 이미지를 융합시켜 ‘유사 작곡’을 체험할 수 있다. 이것이 이노우에 대표가 말하는 ‘능동적이고 높은 수준의 활동’으로 이어지는 것이다.

-- 반년 간의 실험 전과 후의 인지기능을 비교 --
이번 공동연구에서는 65세 이상 고령자 100명을 대상으로 10명 정도의 그룹을 만들어 일주일에 1회, 반년 간 총 24회의 음회가 마련된다. 참가자들은 사전에 주어진 타이틀에 맞는 곡을 이보크뮤직을 활용해 작곡하고 음회에 제출한다.

유사 작곡 체험뿐만 아니라, 곡을 선택한 이유에 대해 다른 참가자나 선생님 역할의 음악가와 논의하는 것도 뇌에 자극이 될 것으로 공동연구팀은 기대하고 있다. 음회에 참가하기 전과 후에 뇌활성종합연구소(도쿄)가 제공하는 ‘뇌 활성도 정기검사’를 통해 인지기능을 조사해 어떤 변화가 생겼는지를 검증한다.

타이틀은 예를 들면, 자동차 사진이나 불꽃놀이 영상, 시, 자신의 과거 사진 등 다양하다. 회를 거듭할수록 추상도가 높은 것으로 바뀌며, 보다 뇌를 사용한 작곡을 체험하도록 할 예정이다.

도쿄도립산업기술대학원대학교 사토(佐藤) 교수는 “아직 초반의 구상 단계이지만, 만드는 곡이 참가자에 따라 이렇게 다를 수 있다는 것에 놀라고 있다. 좀 더 추상적인 타이틀일 때에는 어떠한 결과가 나올지 기대된다”라고 느낌을 말한다.

-- 곡을 독자적인 포맷으로 변환하여 학습 --
음회의 핵심이 되는 이보크뮤직에서 제시되는 곡은 어떻게 만들어질까? 시스템 내부에서 활약하고 있는 것이 아마데우스코드가 개발한 자동 작곡 AI 기술 '아마데우스코드AI'이다. 아마데우스코드에 따르면 아마데우스코드AI는 4초에 1곡의 페이스로 곡을 무한정으로 생성할 수 있다고 한다. 지금부터는 이 AI가 어떤 메커니즘으로 곡을 만들어내는지를 살펴보겠다.

아마데우스코드AI 구축에서는 상업적 가치를 창출한 음악을 '좋은 곡'으로 가정하고, 지난 60년 간의 히트 차트 상위 곡을 중심으로 여전히 콘서트에서 연주되는 전통적인 클래식 등도 포함한 800여 곡을 초기 데이터로 학습시켰다. 이러한 데이터를 기반으로 새로운 '좋은 곡'을 자동으로 생성하는 것이 아마데우스코드AI의 주요 기능이다.

아마데우스코드란 회사명이자 아마데우스코드가 AI 구축을 위해 새롭게 개발한 음악정보 처리 포맷의 이름이기도 하다. 음표나 기호로 기술하는 악보나 파형(波形) 데이터와 달리, 숫자와 문자열로 구성된 텍스트 데이터로 곡을 취급한다. 기존 데이터 형식에 비해 가볍고 구조 설계가 쉽다는 특징이 있다.

아마데우스코드에서는 곡 하나를 ‘릭(Lick)’이라는 최소 단위의 집합으로 간주한다. 릭의 단락은 '소리의 흐름'이 끝났는지를 기준으로 판단하며, 예를 들어 '기미가요'의 경우, '기미가요는'의 부분이 하나의 릭이 된다.
 

아마데우스코드AI는 알고리즘을 통해 곡을 릭으로 분해한 후, 각 릭에 4개의 특징량을 부여한다. 특징량에는 음길이의 지표인 '음가(音價), 릭이 어떤 곡에서 사용되었는지를 나타내는 '포퓰러리티(Popularity)' 등이 포함된다. 각 릭을 이러한 고유 정보를 가진 4차원 벡터로 취급하고, 1곡을 릭의 총체로 간주함으로써 곡이 어떤 음악적 특징을 가지고 있는지를 분석하는 구조로 되어 있다.

-- 키워드와 연결시켜 관리 --
새로운 곡을 작곡하는 과정에서는 축적된 릭의 군 안에 존재하지 않는 새로운 릭을 노이즈로서 혼입하고 그것을 조합해 1개의 곡으로 정리해나간다. 이노우에 교수에 따르면 “사람이 작곡하는 경우에도 완전히 제로부터 실시하는 것이 아니라, 과거에 접한 곡에 감성을 더해 새로운 것을 만들어내고 있다.

사람의 감성에 해당하는 것이 노이즈이다”라고 한다. 또한 릭은 랜덤으로 조합하는 것이 아니라, 가장 적합한 릭의 배열을 탐색하는 알고리즘을 응용해 일정 퀄리티 이상의 곡을 만들 수 있도록 했다.

이보크뮤직에서는 새로운 곡을 작곡(발주)할 뿐만 아니라, 과거에 아마데우스코드AI로 만들어진 곡을 검색해 시청·다운로드할 수 있다. 발주나 검색을 할 때에는 음악 장르나 악기의 종류, 열정이나 속도감 같은 곡의 분위기 등을 키워드로 입력한다. 이러한 부수적 정보가 릭과 연결되어 축적된다.

릭의 부수적 정보에 대한 타당성은 다운로드 빈도 등 시청자 반응에 따라 재검토된다. 예를 들어, '열정'이라는 키워드로 검색해 나온 곡의 다운로드 수가 많으면, 그 곡을 구성하는 릭과 '열정'의 관계성을 강화하고, 다운로드 수가 적으면 부수적 정보가 부적절하다고 판단해 관계성을 약화시켜 다시 학습한다.

이와 같이 아마데우스코드AI는 자신이 생성한 릭을 재귀적으로 학습해 다음 작곡의 자원으로 활용하기 때문에 키워드에 보다 적절한 곡을 작곡할 수 있게 된다고 한다.

-- 음악 교실도 시야에 --
아마데우스코드는 자동 작곡 AI를 활용한 음원 플랫폼을 사업의 축으로 삼아왔다. 플랫폼은 주로 동영상 크리에이터 전용의 이보크뮤직 외에도, 음악 크리에이터 전용으로 곡의 소재를 제공하는 ‘아마데우스코드’를 제공하고 있다.

이번 음회 프로젝트는 앞으로 ‘음회 음악교실’로서 사업화를 추진해나갈 계획이다. 음악 전송 플랫폼을 통한 크리에이터 지원뿐만이 아니라, 일반 생활자에게도 가치를 제공할 수 있는 서비스를 제공함으로써 “치매 등의 사회적 과제 해결 및 음악 업계의 발전으로도 이어질 수 있을 것이다”(이노우에 대표)라고 한다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.