기계/조선

계측과 제어_23.12 (p721-722)

FACE the future
음과 IT로 생활을 조화시킨다
음악정보처리와 음향신호처리의 연구
니혼대학교 생산공학부 우에무라 아이코(植村 あい子) 교수

1. 머리말
나는 '하모니'를 테마로 음악정보처리, 음향신호처리를 연구하고 있다. 지금까지 음악을 대상으로 하는 컨텐츠의 시청 지원, 연주의 스킬 획득 지원이나 컴퓨터를 이용한 창작 지원 기술 개발 등에 관여해 왔다.

예를 들면, 텔레비전 음악 프로그램에서의 아티스트의 토크와 악곡 장면의 검출, 라이브 버전의 악곡 검색이나 피아노 악보 데이터의 발라드 편곡 등이다. IT(정보기술)를 구사함으로써 유저를 지원/보조하는 기능을 부가하거나 레벨에 맞춰서 단계적인 조정도 가능하기 때문에 유저의 특성에 맞는 지원을 할 수 있다고 생각하고 있다.

대학 3학년 때 음악정보처리라는 분야를 알게 되었고, 컴퓨터를 이용해 음악을 인간처럼 해석하거나 생성하는 기술이 있다는 것을 알게 되었다. 어릴 때부터 중학생 때까지 피아노와 노래를 배웠는데 좋아하는 악곡을 분석하고 싶다는 생각을 했었다.

동시에 피아노 연주나 작곡, 편곡 실력이 별로 늘지 않아 답답함을 느끼고 있었기에 자연스럽게 음악정보처리 세계에 뛰어들었다. 비슷한 생각을 하고 있는 사람들을 기술로 지원하고 싶다는 생각이 오늘날까지 이어지고 있다.

본고에서는 현재 진행하고 있는 생성계 AI(인공지능) 연구에서, 곡의 분위기를 변화시키는 하모니 생성 방법에 대해 설명하겠다.

2. 곡의 분위기에 변화를 주는 하모니 생성
하모니의 뉘앙스를 변화시키는 수단의 하나로 리하모니제이션(Reharmonization)이 있다. 리하모니제이션이란 멜로디는 변경하지 않고 원래의 코드를 다른 코드로 치환해 곡의 분위기에 변화를 주는 조작을 말한다. 컨텐츠 산업에서 크리에이터의 참가 형태도 변화하고 있는 가운데, 컨텐츠 창작에 종사하는 사람들도 많이 늘었다.

자신의 취향에 맞춰서 작곡이나 편곡을 할 수 있는 기술에 대한 수요도 증가하고 있는 추세다. 한편, 컨텐츠 창작에는 전문 지식이나 소프트웨어를 능숙하게 사용하는 기능이 필요하기 때문에 초보자에게는 허들이 있는 것이 현실이다.

그것을 해결하기 위해 본 연구에서는 유저가 하모니의 울림(팝스스럽다, 재즈스럽다 등)을 단서로 좋아하는 하모니를 탐색하여 생성하는 기법을 검토하고 있다. 여기에서는 컨트롤러로서 Variational Autoencoder(VAE)의 잠재공간에서의 모핑에 근거한 코드 진행의 생성에 주목했다. 모핑이란, 주어진 2개의 인스턴스 사이의 내삽 데이터를 생성하는 방법이다.

기존의 심층학습을 이용한 방법으로는 Reharmonize된 데이터가 적기도 하고, 잠재공간 내 주위의 적당한 데이터로 보완되어 멜로디에 맞지 않는 불협화음이나, 시간 방향의 접속이 맞지 않는 화음이 생성되는 문제가 있었다.

이에 본 연구는 VAE와 Long Short-Term Memory(LSTM)를 기반으로 멜로디 정보나 화음 구성음으로 계산되는 2개 음의 공기성(共起性)을 네트워크에 추가해, 불협화를 억제하는 모델을 설계했다.

여기에서는 화음 인지에 관한 심리물리 모델의 불협화도(不協和度)를 바탕으로 협화도(協和度)를 정의하고, 학습시에 각 2개 음의 공기(共起) 벡터와 이상적인 협화도와의 손실이 적어지도록 설계했다. 각 화음 구성음이 조화되도록 학습하는 것이 기대된다.

평가실험에서는 84곡의 멜로디(5어레인지 이상 붙어 있는 데이터)의 MIDI(Musical Instruments Digital Interface) 데이터를 사용해, 생성된 합계 11,400개의 코드 진행을 분석했다. 코드 진행은 다변량 정규분포에 따르는 잠재 변수 벡터를 이용해 표현되며, 곡 z₁과 그 외 스타일의 곡 z₂와의 모핑을 통해 얻을 수 있다. 생성되는 코드 진행 z는 아래와 같이 표현된다.

z = (1−α)z₁+αz₂

실험에서는 0≤ α ≤1로 α를 0.25씩 변화시키고, 스타일에 대해서도 3종류(z₁에 대해 스타일 s₁으로 생성, z₂에 대해 스타일 s₂로 생성, s₃=(s₁+s₂)/2의 스타일 s₃)로 생성했다.

제안 모델을 사용한 경우 비표준적인 화음이나 불협화음 음정이 감소하는 것을 확인할 수 있었다. 공기(共起) 벡터와 협화도를 사용함으로써 모델에 영향을 주는 것을 시사했다.

3. 맺음말
지금까지 줄곧 제 연구의 중심에는 ‘하모니’가 있었다. 최근에는 공동연구의 기회도 주어져 펨테크(FemTech, 여성이 안고 있는 건강 과제를 테크놀로지로 해결하는 것)의 일환으로서 복부 표면 체온을 분석하는 일에도 힘쓰고 있다. '하모니'에는 음악 용어로 '화성(和聲)'이라는 의미가 있지만 '조화'라는 뜻도 있다. 'IT를 사용하여 생활의 조화를 목표로 한다'는 것이 연구의 근본에 있다고 느끼고 있다.

최근의 생성계 AI의 진보는 눈부시다. 매우 재미있는 시대에 연구할 수 있는 것을 기쁘게 생각하고 있다.

앞으로는 미묘한 뉘앙스도 컨트롤 할 수 있게 되면서, 다양한 배경을 가지는 유저가 참가해 일생에 단 한 번의 생동감 있는 컨텐츠를 생성할 수 있을 것이라 기대하고 있다. 저도 이 상황을 즐기면서 AI나 IT를 사용해 누구나가 즐기면서 보다 조화로운 생활을 할 수 있도록 지원하는 연구에 힘쓰고 싶다.

 -- 끝 --