AI/로봇·드론/VR·AR

Nikkei Network_2023. 1 NEWS close-up (p14-15)

딥페이크를 간파하는 새로운 기법
‘공룡 울음소리 재현 기법’을 응용, 99.9% 정밀도로 가짜 음성 판별

인공지능(AI)의 발전은 인류에게 다양한 혜택을 주고 있지만 한편으로 위협이 되기도 한다. 그 일례가 딥페이크다. 딥페이크란 진짜 영상이나 음성을 그대로 본뜬 가짜 영상과 음성을 말한다.

현재는 정치인 등 유명인을 모방한 딥페이크 영상이 다수 나돌고 있다. 19년에는 딥페이크 음성을 사용한 전화 사기가 보고되었다. 월스트리트저널 등에 따르면, 피해를 입은 사람은 영국에 본사를 둔 에너지 회사의 최고경영자라고 한다. 모회사 CEO의 목소리로 22만유로(당시 환율로 약 2,800만엔)를 1시간 이내에 송금해 달라는 요청을 받았다고 한다.

음성은 동영상에 비해 정보량이 적기 때문에 진짜와의 차이(모순점)를 찾기 어려워 가짜임을 간파하기가 쉽지 않다.

그래서 미국 플로리다대학 연구진은 딥페이크 음성임을 간파하는 기법을 개발했다. 논문에 따르면 정밀도(적합율)는 99.9%라고 한다. ‘공룡 울음소리를 재현하는 기법’을 응용했다고 한다. 참고로 논문의 제목은 ‘Who Are You (I Really Wanna Know)? Detecting Audio DeepFakes Through Vocal Tract Reconstruction’이다.

-- 왜 공룡의 울음소리를 재현할 수 있을까? --
TV나 영화, 과학관 등에서 공룡 울음소리를 들어본 사람은 많을 것이다. 물론 진짜 울음소리는 아니다. 화석 등을 바탕으로 공룡의 성대(소리 발생기)나 성도(성대에서 입이나 코까지의 공동)의 모양을 추측해 어떤 울음소리였는지를 추정한다.

이번에 발표된 기법에서는 반대의 수순을 밟는다. 음성을 바탕으로 그 음성을 냈을 때의 성도 모양을 계산한다. 그리고 계산 결과가 인간에게는 있을 수 없는 모양이었을 경우 딥페이크 음성이라고 판정한다.

이번 기법에서는 음성에 포함되는 특정 주파수의 진폭으로부터 발화자의 성도 모양(단면적)을 산출하는 수학적 모델을 만들어 사용한다. 모델에서는 성도를 15개의 반경이 다른 파이프로 근사하게 제작. 유체역학이나 과거의 연구 등을 바탕으로 성도의 모양과 음성을 연관 짓는 모델을 도출했다.

다음으로 인간이 낸 음성(이하 ‘오가닉 음성’이라 한다) 샘플을 사용해, 인간에게 가능한 성도의 모양 범위를 계산한다. 구체적으로는 성도의 각 지점의 단면적 최대치 및 최소치를 산출. 이를 일탈할 경우 인간이 낼 수 없는 음성, 즉 딥페이크 음성이라고 판단한다.

그리고 마지막으로 구축한 모델을 평가했다. 평가에는 4,966개의 음성 파일을 사용했다. 이 중 2,476개는 딥페이크 음성이었고 2,490개는 오가닉 음성이었다. 그 결과, 정밀도(precision) 99.9%, 재현율(recall) 99.5%, 위양성률(False Positive Rate) 2.5%를 달성할 수 있었다고 한다.

여기서 정밀도는 '딥페이크라고 판정한 음성 중 실제 딥페이크였던 비율', 재현율은 '전체 딥페이크 음성 중 딥페이크라고 판정할 수 있었던 비율', 위양성률은 '오가닉 음성인데 실수로 딥페이크라고 판정한 비율'을 말한다.

연구진은 “2.5%의 위양성률은 하루에도 수백, 수천 개의 음성 샘플을 처리하는 자동화 시스템에서는 이상적인 값보다 높을 값이라고 생각한다”라고 밝혔다.

다만 딥페이크 음성이 나돌 경우에 미치는 영향이 크기 때문에 “묵인하는 것과 비교하면 위양성이 리스크가 낮다고 생각한다. 따라서 위양성률 2.5%는 허용할 수 있다”라고 말했다.

-- 딥페이크 성도는 '빨대' 모양 --
연구진에 따르면, 딥페이크 음성에서 찾은 성도는 굵기나 모양이 빨대와 비슷한 것이 많았다고 한다. 실제 인간의 성도는 넓고, 모양이 다양한 것과는 대조적이라고 한다.

이번과 같은 검출 기법이 개발되면 공격자는 이를 회피하려 할 것이다. 당연히 연구진도 이를 가정해 ‘산출한 성도가 그럴듯한 딥페이크 음성’을 만들 수 있을지 검토했다. 그리고 ‘현재로서는 계산에 시간이 너무 많이 걸려 곤란하다’고 결론 내렸다.

그렇다고 안심할 수는 없다. 저명한 보안 연구자인 브루스 슈나이어(Bruce Schneier) 씨는 자신의 블로그에서 “흥미로운 연구지만 공격자는 이 기법을 응용해, 이 기법으로는 검출할 수 없는 딥페이크 작성 방법을 찾아낼 것이다”라고 말했다.

공격과 방어는 끝이 없는 악순환이다. 방어하는 측에서는 골치가 아프다. 슈나이어 씨도 “그리고 군비 확대 경쟁은 계속될 것이다(And the armsrace will continue)”라고 말을 맺었다.

-- 끝 --

Copyright © 2020 [Nikkei Network] / Nikkei Business Publications, Inc. All rights reserved.