일본산업뉴스요약

Nikkei X-TECH_2020.7.16

AI에 대한 3가지 공격 방법
히타치, 시큐리티 포럼에서 설명

히타치제작소가 7월 8일부터 15일까지 온라인에서 개최한 ‘Hitachi Security Forum 2020 ONLINE’에서 히타치 연구그룹의 요시노(吉野) 씨는 AI시스템에 대한 공격 방법에 대해 설명했다. AI는 공격을 받으면 예측 결과에 오류가 발생하거나, 개인의 사생활을 위협하는 등의 리스크가 발생한다.

지금까지 IT시스템에 대한 공격은 이용자의 라우터나 서버를 공격하는 사례가 많았다. 하지만 “AI에 대해 직접적 또는 간접적으로 공격하는 연구 사례 보고가 최근 증가하고 있다”(요시노 씨). 이 분야의 논문은 2014년에서 2019년까지 5년 간 세계적으로 1,000건 정도였지만, 2019년에는 1년 간 약 1,000건이 보고되었다고 한다. 학술적으로 AI에 대한 공격이 주목되고 있어 “일정 기간을 거쳐 사회에서도 실제 공격이 발생하게 될 것으로 예측된다”(요시노 씨).

AI가 예측하도록 하기 위해서는 학습 단계와 예측 단계가 필요하다. 우선 학습 단계에서 티칭데이터를 AI 엔진에게 학습시킨다. 예측 단계에서 담당자가 사양에 따라 예측용 데이터를 입력하면 AI 엔진이 예측 결과를 출력한다. “공격자가 AI 엔진을 직접 공격하는 것은 어렵다”라고 요시노 씨는 말한다. 공격자는 AI의 학습 단계나 예측 단계에서 일부 데이터를 오염시켜 AI 엔진 보안을 파괴하거나, AI에게 잘못된 예측 결과를 출력하도록 한다고 한다.

공격 수법은 크게 3가지로 나뉜다. 첫 번째는 티칭데이터 일부를 오염시키는 방법이다. 공격자에게 유리하도록 변경한 티칭데이터를 AI 엔진에 학습시키는 것이다. 예를 들어 스팸메일 검토용 AI에게 잘못된 티칭데이터를 학습시켜 스팸메일을 검지할 수 없도록 할 수 있다.

두 번째는 예측용 데이터 일부를 오염시키는 방법이다. 대표적인 공격 대상은 인물 및 물체 인식 AI이다. 기존 데이터 영상에 사람이 검지할 수 없는 미세한 노이즈를 덧씌워 AI가 잘못된 예측을 하는 등의 연구 사례가 있다.

세 번째는 역(逆)예측을 통한 공격 방법이다. 공격자는 AI 엔진에 일정량의 예측용 데이터를 입력, 출력된 예측 경향을 통해 티칭데이터를 부정하게 추측할 수 있다. 개인정보를 AI가 학습할 경우 사생활 침해로 이어질 위험성이 있다. 구체적으로는 공격자가 얼굴 영상 등의 티칭데이터를 부정하게 입수하는 등의 피해가 있을 수 있다.

 -- 끝 –

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved