일본산업뉴스요약

Nikkei X-TECH_2023.2.3

IT가 위험하다
딥페이크를 악용한 비즈니스 메일 사기의 심각성 우려
전화 상대도 믿을 수 없는 시대로

“2023년에는 딥페이크를 악용한 비즈니스 메일 사기(Business Email Compromise, BEC)가 늘어날 것으로 보인다. BEC를 자동화하는 서비스도 등장할 것이다”. 트렌드마이크로의 오카모토(岡本) 시큐리티 에반젤리스트는 이렇게 전망한다.

딥페이크란 AI(인공지능)를 이용해 진짜를 그대로 모방해 만든 가짜 이미지와 동영상, 음성 등을 말한다. BEC는 거래 상대로 위장해 업무상의 가짜 메일로 송금을 독촉해 돈을 가로채는 사기 행위이다.

트렌드마이크로는 2022년 12월 26일에 공개한 '2023년 보안 위협 예측'에서 주요 토픽 중 하나로 딥페이크를 꼽았다. “3~4년전 시점에서 딥페이크 음성을 사용한(가짜의 메일이 아니라 가짜의 음성에 의한) BEC라고 의심되는 케이스가 확인되었다”(오카모토 시큐리티 에반젤리스트).

현재 사이버 범죄자들 사이에서 BEC 수법에 딥페이크 음성을 도입하는 움직임이 활발해지고 있다고 오카모토 시큐리티 에반젤리스트는 지적한다. BEC 방지 대책으로는 ‘메일을 보내 온 사람은 정말 그 사람인가?’를 전화 등으로 확인하는 것이 요구되지만, 향후에는 임원이나 상사가 전화로 입금 지시를 하는 경우도 충분히 의심할 필요가 있을 것 같다.

위협은 여기서 그치지 않는다. 오카모토 시큐리티 에반젤리스트는 “BEC에 관한 처리를 자동화한 'BEC as a Service'가 2023년에 등장할 것이다”라고 예측한다. 이를 통해 공격자는 금전 목적의 사기를 보다 쉽게 실행할 수 있게 될 가능성이 있어 사이버 리스크는 한층 더 높아질 것이다.

또한, 2023년에는 딥페이크 음성뿐 아니라, 딥페이크 동영상을 악용한 사기 리스크도 높아질 수 있다. 현시점에서 딥페이크 동영상을 만드는 툴은 누구나 구할 수 있다. 예를 들어, 스마트폰 등으로 이용할 수 있는 앱 '아바타리파이(Avatarify)'는 사용자가 촬영한 동영상에 나오는 사람의 얼굴을 다른 사람의 얼굴로 쉽게 바꿀 수 있다. 이러한 딥페이크 동영상을 화상 회의 등에서 사용할 경우, 동영상판 BEC가 생길 가능성도 있다.

일본 국내에서 최초로 딥페이크 기술 악용으로 체포된 사례가 나온 것은 2020년 10월이다. 연예인의 이미지를 담은 포르노 동영상을 인터넷에 올린 남성이 체포되었다. 해외의 경우, 딥페이크는 정치적으로도 악용되고 있다. 예를 들어, 젤렌스키 우크라이나 대통령이 국민들에게 러시아에 투항하도록 촉구하는 딥페이크 동영상이 2022년 3월, 페이스북에 게시된 적이 있었다.

한편, 딥페이크 악용에 대한 규제 및 법 정비가 유럽연합(EU)을 중심으로 추진되고 있다. 2022년 6월에는 구글과 트위터 등이 EU의 ‘가짜 정보에 관한 행동 규범’의 개정판에 서명해 가짜 정보 발신자에게 광고 수입이 들어오지 않도록 대처한다고 했다.

하지만 “사이버 범죄자는 항상 최신 공격 툴이나 공격 방법을 찾고 있다”(트렌드 마이크로의 오카모토 시큐리티 에반젤리스트). 딥페이크를 이용한 사기 리스크에 대한 경계 레벨은 높여 놓아야 할 것이다.

-- 독자적인 딥페이크를 쉽게 개발할 수 있어 --
딥페이크의 리스크가 계속 높아지고 있는 배경에는 두 가지 요인이 있다. 하나는 AI 기술의 진보이다.

구체적으로는 심층학습을 응용해 실재하지 않는 화상(畵像) 데이터나 음성 데이터 등을 생성하는 적대적 생성 네트워크(GAN)가 진보하면서 가짜를 간파하기가 한층 더 어려워지고 있다.

GAN은 화상 등의 데이터를 생성하는 생성모델(Generator)과 데이터가 진짜인지 혹은 생성모델이 출력한 가짜인지를 가려내는 식별모델(Discriminator)이라는 두 가지 AI 모델을 경쟁시켜 보다 진짜에 가까운 화상 데이터를 생성하는 기술이다. 생성 모델은 식별 모델을 속이도록 학습하는 한편, 식별 모델은 속지 않도록 학습한다.

또 다른 요인은 손쉽게 딥페이크를 생성하는 툴이 보급되었다는 점이다. 국립정보학연구소(NII) 신세틱미디어 국제연구센터의 에치젠(越前) 센터장은 “일반 시민들도 딥페이크를 만들 수 있는 시대가 되었다”라고 지적한다.

일반적으로 화상을 생성하는 기계학습 모델을 개발 및 운용하려면 전문지식과 학습에 사용되는 대량의 데이터, 높은 연산능력을 가진 단말기 등이 필요하다. 하지만 딥페이크 생성 툴을 사용하는 경우, 이러한 지식이나 환경이 없어도 ”동영상 편집과 같은 레벨로 간단하게 딥페이크를 생성할 수 있다”(트렌드마이크로의 오카모토 시큐리티 에반젤리스트). 학습 데이터에는 기본적인 표정을 미리 학습한 모델이 탑재되어 있다고 한다.

“3~4년 전만 해도 사이버 범죄자들이 딥페이크를 어떻게 범죄에 도입할지에 대해 언더그라운드에서 논의하는 단계였다”(오카모토 시큐리티 에반젤리스트). 초기의 딥페이크 악용 방식은 저명인사의 가짜 포르노 동영상을 생성해 부정하게 판매 및 광고 수입을 얻는 것이었다.

하지만 최근 딥페이크 악용의 조류가 바뀌고 있다. 저명인사의 딥페이크를 바탕으로 가짜 광고를 작성하고, 거기에 접속한 사람으로부터 로그인 정보 등을 훔치는 사례가 나오고 있다고 한다. 피해자가 더욱 확산되고 있는 것이다.

-- 대처 기술 개발도 진행 --
이와 같은 피해 확대 우려에 대처 기술 개발 및 구현이 추진되고 있다. NII 신세틱미디어 국제연구센터는 2023년 1월 13일, AI가 생성한 가짜 얼굴 영상인지 여부를 자동으로 판정하는 'SYNTHETIQ VISION: Synthetic video detector'를 사이버에이전트가 채택해 저명인사들의 딥페이크 영상 탐지 분야에서 실용화한다고 발표했다.

SYNTHETIQ VISION은 딥페이크 동영상을 검출하는 학습된 심층학습 모델을 구비하고 있다. 서버에 SYNTHETIQ VISION을 설치하여 이용할 수 있다. 판정하고 싶은 영상을 서버에 업로드하면 자동으로 진위 판정 결과를 출력하는 구조이다. 판정 정밀도에 대해 NII는 검증시의 정밀도를 포함해 공개하고 있지 않지만, 에치젠 센터장은 “실용상 사용할 수 있는 정밀도를 실현하고 있다”라고 말한다.

일반적으로 딥페이크 검출 기술은 생성 기술보다 실용화가 늦어지고 있는 것으로 알려져 있다. 일본 국내에서는 이제 막 “학술계 연구가 기업의 제품 개발에 활용되려 하고 있는 단계”(NII의 에치젠 센터장)이다.

딥페이크를 만드는 기술뿐만 아니라 딥페이크 동영상이나 음성을 악용한 범죄 수법도 진화하고 있다. 기업은 기술이나 범죄 수법의 진화를 주시하고, 계속적으로 정보 수집해 대처 기술 도입 및 사원 교육과 훈련을 지속적으로 추진할 필요가 있다.

-- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.