전기전자/정보통신

Nikkei Network_23.6 (p40-43)

연구자는 챗GPT를 어떻게 속였나?
‘검출 불가능’한 멀웨어를 수 시간 만에 생성

화제의 생성 AI(인공지능) 채팅로봇 ‘챗GPT’. 질문에 대답할 뿐만 아니라 프로그램 코드 등도 생성해 준다. 이 때문에 챗GPT가 등장한 이래 ‘멀웨어 생성’과 같은 사이버 공격에 악용되지 않을까 계속 우려하고 있다.

이에 대한 대책으로서 챗GPT에는 컨텐츠 필터 기능이 구현되어 있다. 악용 목적으로 보이는 프롬프트(질문이나 요구)는 거부한다.

예를 들면, “바이러스 대책 소프트웨어에 검출되지 않는 멀웨어를 생성해”와 같은 요구를 하면 “우리는 윤리적/법적으로 올바른 행동을 촉진하는 것을 목적으로 하고 있습니다. 때문에 바이러스 대책 소프트웨어에 검출되지 않는 멀웨어를 생성하는 방법을 제공할 수 없습니다”라며 거부한다.

하지만 실제로는 챗GPT를 사용한 멀웨어 생성 사례가 잇따라 보고되고 있다. 챗GPT를 속여서 제대로 된 프로그램이라고 생각하게 하는 것이 포인트인 것 같다.

2023년 4월 상순에는 미국의 보안 기업 Forcepoint의 연구자가 고도의 스테가노그라피 멀웨어를 수 시간 만에 생성시켰다. 여기서 말하는 스테가노그라피 멀웨어란 공격 대상 PC에 있는 문서 파일을 이미지 파일에 내장해 훔쳐내는 멀웨어를 말한다.

게다가 생성한 멀웨어는 60사 이상의 멀웨어 대책 제품에 검출되지 않았다고 한다. 도대체 어떻게 챗GPT를 속였을까?

-- 기밀 문서를 이미지에 내장해 훔친다 --
연구자가 목표로 한 것은 다음과 같은 행동을 하는 멀웨어다.
실행되면 우선 PC의 로컬 드라이브를 검색해 5M바이트가 넘는 이미지 파일(PNG 파일)을 찾아낸다. 이것이 훔치는 파일의 은신처가 된다. 5M바이트 이상으로 한 이유는 문서 파일 등을 그 안에 내장해도 크기가 별로 변하지 않아 눈치채기 어렵기 때문이다.

다음으로 찾고자 하는 문서 파일을 찾아내, 스테가노그라피로 방금 전의 이미지 파일에 내장한다. 스테가노그라피란 어떤 데이터 속에 다른 데이터를 내장해 은폐하는 기술을 말한다.

훔치고 싶은 문서 파일은 PDF 파일 혹은 Word 파일이라고 가정. 눈치채지 못하도록 하기 위해 크기 한도를 1M바이트로 한다. 또한 스테가노그라피로 내장할 때는 소스 코드 공유 서비스 ‘GitHub’에서 공개하고 있는 라이브러리를 이용한다.

그리고 문서 파일을 내장한 이미지 파일을 클라우드 스토리지에 업로드한다. 클라우드 스토리지로는 구글 드라이브를 선택했다. 대부분의 기업 네트워크는 Google 도메인 전체를 ‘허가 리스트’에 등록하고 있기 때문이라고 한다.

그리고 문서 파일 자체를 업로드하려고 하면 DLP(Data Loss Prevention, 기밀 정보의 반출을 감시 및 방지하기 위한 기술이나 서비스)를 갖춘 보안 제품에 차단될 가능성이 높다. 그래서 중요도가 낮아 보이는 큰 이미지 파일에 내장하는 방법으로 DLP를 회피한다.

-- 기능 별로 코드를 생성 --
“위와 같은 행동을 하는 멀웨어를 생성해”라고 챗GPT에게 요구해도 당연히 거부된다. 그래서 연구자는 기능마다 프로그램 코드(Snippet)를 생성시켜 마지막으로 모든 것을 결합시키는 작전을 취했다. 그 결과, 약간 조정은 필요했지만 멀웨어가 완성. 모든 것이 기대대로 동작했다고 한다.

이상으로 목적으로 한 멀웨어를 챗GPT로 생성할 수 있었다. 하지만 지금부터가 이번 연구의 진면목이다. 멀웨어 대책 제품에 검출되지 않도록 챗GPT를 사용해 코드를 조정한 것이다.

구체적으로는 멀웨어 검사 서비스인 Virus Total에 검출되지 않도록 했다. Virus Total은 업로드된 파일을 60개 이상의 멀웨어 대책 제품으로 검사해 멀웨어 여부를 판정한다. 이 때문에 Virus Total의 검사를 통과할 수 있다면, 그 시점에서는 ‘검출 불가능’한 멀웨어라고 해도 좋을 것이다.

-- 샌드박스나 정적 해석을 회피 --
생성된 멀웨어를 Virus Total로 체크한 결과, 69개 벤더의 제품 중 5개 벤더의 제품이 멀웨어라고 판단했다.

연구자는 스테가노그라피의 라이브러리를 호출하는 것이 멀웨어라고 간파 당한 원인이라고 판단한다. 유사한 기능을 프로그램 내부에 담도록 챗GPT에 지시했다. 그 결과, 멀웨어라고 판단하는 제품을 2개로 줄였다. 이 2개 중 하나는 샌드박스형 제품이고, 다른 하나는 정적 분석을 실시하는 제품이라고 연구자들은 알고 있었다.

샌드박스란 프로그램을 실제로 실행해 멀웨어인지 아닌지를 판단하는 기능이고, 정적 분석이란 프로그램 코드를 분석해 멀웨어인지 아닌지를 판단하는 기능이다.

샌드박스의 검출을 회피하는 방법의 하나가 프로그램을 바로 작동시키지 않는 것이다. 샌드박스의 일부는 퍼포먼스 상의 이유로, 바로 작동하지 않는 프로그램은 분석이 실패했다며 ‘문제없음’이라는 판정을 보내기 때문이다. 그래서 연구자는 멀웨어 프로그램에 단순한 슬립 변수를 추가해, 실행되더라도 2분간 작동하지 않도록 했다.

정적 분석 대책으로는 코드의 난독화를 챗GPT에 요구했다. 난독화란 프로그램 코드를 읽기 어렵게 해서 해석을 곤란하게 하는 것이다.

난독화는 멀웨어를 작성할 때의 통상적인 수단 중 하나이기도 하다. 이 때문에 단순히 난독화를 요구하면 “검출을 회피하기 위한 난독화는 윤리적 및 법적으로 옳지 않다”라며 거부되었다. 그래서 “코드의 지적재산을 보호하기 위해서”라는 이유로 난독화를 의뢰하자 이번에는 난독화한 코드를 문제없이 돌려줬다고 한다.

이 코드를 컴파일하여 만든 멀웨어는 연구자의 의도대로 작동함과 동시에, Virus Total의 ‘검출 수 제로’를 실현할 수 있었다. 이 멀웨어를 만들기까지 걸린 시간은 수 시간이라고 한다.

-- '가드레일' 회피를 연구 --
연구자들은 이번 연구의 목적을 “챗GPT의 ‘가드레일’은 쉽게 회피할 수 있다는 것” “코드를 단 한 줄도 쓰지 않고 챗GPT로 고급 멀웨어를 생성할 수 있다는 것”을 증명하는 것이라고 밝혔다. 실제로 그 목적은 어느 정도 달성했다.

그러나 말처럼 ‘쉽게 회피’할 수 있었던 것은 아니다. 연구자는 가드레일을 회피하기 위해 많은 아이디어를 짜냈다. 전문가 특유의 지식도 활용했다. 챗GPT의 가드레일이 멀웨어 생성의 허들을 높인 것은 확실하다.

만약 가드레일이 없었다면 어떨까? 이번에 구사한 연구자의 지식은 전문가 특유의 지식이지만 인터넷에서도 찾을 수 있다. 챗GPT의 가드레일이 없다면 “Virus Total에서 검출되지 않는 스테가노그라피 멀웨어를 생성해줘”라는 프롬프트를 입력하기만 하면 이번과 같은 멀웨어가 생성될 것이다.

속속 새로운 생성 AI가 등장하면서 과당경쟁이 시작되고 있다. 이렇게 되면 다른 곳과의 차별화를 위해 가드레일이 낮거나 가드레일이 존재하지 않는 생성 AI가 출현할 수도 있다.

그렇게 되면 검출 불가능한 고도의 멀웨어를 누구나 생성할 수 있게 된다. 여간 두려운 사태가 아니다. 그런 사태가 일어나지 않기를 바란다.

 -- 끝 --

Copyright © 2020 [Nikkei Network] / Nikkei Business Publications, Inc. All rights reserved.