AI/로봇·드론/VR·AR

Nikkei Computer_2018.5.24 특집 요약 (p46~53)

AI의 어두운 면모
지금 가까이에 있는 악의가 폭주를 부른다

모든 기술에는 빛과 그림자가 있다. AI도 예외는 아니다. 가짜 동영상으로 사람을 속이고 사람의 행동을 조작하며 자율주행 소프트웨어를 오작동시켜 사람을 다치게 한다---. AI가 악의적으로 조종당할 위험은 지금 가까이에 있다. AI가 앞으로 우리와 좋은 파트너로 계속 존재할 수 있게 하기 위해서라도 AI의 ‘어두운 면모(Dark Side)’를 미리 파악할 필요가 있다.

“하지도 않은 말을 정말 한 것처럼 보이게 하는 시대가 되었다”. 미국 버락 오바마 전 대통령이 영상에서 한 말이다. 2018년 4월, 가짜 뉴스에 경종을 울린 오바마 전대통령의 영상이 화제가 되었다. 그것은 이 영상 자체가 가짜였기 때문이다. 이 영상을 만든 것은 미국 영화감독인 조던 필 씨와 미국 미디어의 BuzzFeed이다.

딥페이크(Deepfakes). 유명인의 얼굴의 다른 사람의 얼굴에 합성한 정교한 가짜 동영상의 총칭이다. 영상 속 사람의 얼굴을 다른 사람의 얼굴로 바꿔 놓는 PC 소프트웨어 ‘FakeAPP’을 사용하는 경우가 많다. FakeAPP은 심층학습(딥러닝)을 활용해 전혀 어색함을 느끼지 못하게 영상물을 가공할 수 있다고 선전하고 있는 소프트웨어이다.

영상에서는 필 씨가 말할 때의 입 모양을 오바마 전대통령의 영상과 겹치게 만들어 마치 오바마 전대통령이 말하고 있는 것처럼 보이게 하는 트릭을 사용하고 있다. “조심해, 너희들!” 오바마 전대통령의 가짜 영상은 이렇게 끝을 맺는다.

‘가짜 오바마’의 경고는 단순한 위협이 아니다. 이미 인터넷 상에는 딥페이크가 넘치고 있다. 독일 메르켈 수상의 얼굴이 중간에 미국 트럼프 대통령으로 바뀌는 연설, 유명 할리우드 스타의 아직 제작되지 않은 ‘속편’의 명장면, 유명 여배우의 얼굴로 바꿔놓은 포르노 영상에 이르기까지---. 장난을 뛰어넘어 인권 침해로 이어지는 동영상이 많다.

범람하는 딥페이크를 문제시 여긴 미국 인터넷 게시판 사이트인 Reddit은 2018년 2월에 이용 규약의 일부를 개정. 성적인 동영상이나 비디오 배포를 금지하는 가운데, “위조된 묘사도 함께 포함시킨다”고 명기했다. FakeAPP의 개발자가 개설한 커뮤니티 ‘딥페이크’도 폐쇄시켰다.

-- 악의적으로 만들어 여론까지 움직이게 한다 --
딥페이크는 AI가 여론을 움직이게 하는 가짜 뉴스 만들기에 악용될 수 있다는 사실을 보여줬다. 그러나 우려는 이미 현실이 되었는지도 모른다. 2016년의 미국 대통령 선거에서 AI가 암약(暗躍) 하여 투표 행위를 조종했을 가능성이 있다.

무대는 세계 최대의 SNS인 페이스북이다. 올해 3월에 최대 8,700만명의 이용자 데이터가 유출되어 대통령 선거의 선거 공작에 사용되었다는 의혹이 발각. 미국 페이스북의 마크 주커버그 CEO는 미의회에서 사죄했다. 프라이버시 침해문제로 인식되는 이번 사건은 실은 AI 기술 없이는 일어날 수 없었다. 방대한 이용자 데이터를 분석해 정치 광고를 전송한 행위 자체에 페이스북의 AI 기술이 사용되었을 가능성이 있기 때문이다.

우리의 생활과 업무를 쾌적하고 풍요롭게 만들어 주는 AI. 그러나 빛이 있으면 그림자도 있다. 활용 범위가 넓혀져 심층학습 등의 기술이 진화됨에 따라 마이너스 측면인 어두운 면모가 눈에 띄기 시작했다.

■ 헤이트(증오) 발언하는 AI
차별 발언까지도 학습

”AI 시스템은 긍정적인 반응과 부정적인 반응 양쪽을 사람들로부터 불러 일으킨다. 사회적 과제는 기술적인 과제만큼이나 크다”. 약 2년 전의 2016년 3월 25일, 미국 마이크로소프트에서 연구개발 부문을 담당하는 코퍼레이트 바이스 프레지던트인 피터 리 씨는 당사의 블로그에 이렇게 올렸다. 2일 전에 공개한 챗봇 ‘Tay(테이)’가 공격적이며 부적절한 발언을 반복한 것에 대해 사죄하며 이번 경험을 통해 “학습하는 능력을 지속시켜 나가겠다”라고 말했다.

마이크로소프트는 챗봇 앱을 자주 이용하는 18~24세의 유저가 대화를 즐기는 상대역으로 테이를 개발했다. 테이는 인터넷에서 이용자와의 대화를 통해 보다 세련된 대화가 가능하도록 성장시켜갈 예정이었다. 그런데 테이는 히틀러를 예찬하는 발언이나 인종 차별에서 자주 사용되는 공격적인 발언을 반복하게 되면서 마이크로소프트는 단 하루 만에 공개를 중지했다.

테이가 헤이트 발언을 연발하게 된 한가지 요인은 데이터의 학습 방법에 있었다. 마이크로소프트는 인터넷 상에서 이용자가 작성한 내용의 학습을 통해 성장하는 구조를 채택했다. 누구나 테이를 키우는 부모 역할을 할 수 있었기 때문이다. 유저의 친구로 성장시킬 목적이 일부 유저가 쓴 차별적인 언어나 공격적인 언어를 반복해 학습했기 때문에 마이크로소프트가 상정했던 것과 다른 테이가 완성되었던 것이다.

■ 차별하는 AI
채용 이유가 불명확한 상태로

‘Virtual(가상) Slam(비난)’, 영법학자인 야마모토(山本) 게이오기주쿠대학(慶応義塾大学) 교수는 AI가 만들어 낼 수 있는 새로운 차별을 이렇게 표현했다. AI가 데이터를 기반으로 내리는 판단이 사람의 신분이나 입장을 부당하게 정해버리는 가능성이 있다고 한다.

가장 많은 사례가, 인재 채용 및 융자 판단, 보험료의 조정과 같은 업무이다. 인재 채용의 경우, 이력서 내용을 분석하여 재적 중인 우수한 사원에 근접한 타입의 인재를 우선적으로 뽑는다. 잘 활용한다면 채용 담당자의 수고를 줄여 뛰어난 인재의 경향 및 사업으로의 적성을 AI가 꿰뚫어 알려준다.

그러나 높이 평가 받는 인재가 있다면, 낮은 평가의 인재도 생긴다. 낮은 평가를 받은 사람은 ‘AI가 그렇게 판단했으니까’라는 설명을 들어도 부족한 점을 개선할 수 없으며 납득도 안 될 것이다. 부조리한 차별은 국내에서는 일본 국령법 제13조에 정한 ‘개인의 존중’에 어긋날 우려가 있다.

향후 유럽에서는 AI에 의한 평가만으로 고용 및 여신의 합격 여부를 판단하는 것이 위법이 될 가능성이 크다. 2018년 5월 25일 시행한 EU(유럽연합)의 일반 데이터 보호규제(GDPR)는 제22조 1항에서 “자동화된 방법을 기반으로 한 결정에 굴복하지 않을 권리를 사람들이 가진다”라고 했다.

본인이 명시적으로 동의한 경우 등의 예외는 인정되지만, 그 경우에도 사람의 개재 요구, 자신의 의견 표명, 결정에 대한 분쟁의 권리를 보장하도록 정하고 있다. 즉 “AI 평가만으로 중요한 결정을 하지 않는 권리가 인정받고 있다”(야마모토 교수).

■ 사람을 조종하는 AI
모르는 사이에 투표 행위를 유도

유권자의 정치적 견해 및 투표 경향을 예측(프로파일링)하는 AI가 유권자의 행동을 ‘조종하여’ 미국 대통령 선거의 결과를 바꿨다---. 그런 가능성에 미국인들은 경악했다.

2016년이 대통령 선거에서 트럼프 진영에 협력한 영국의 데이터 분석회사인 캠브리지 아날리티카(CA)가 페이스북 사용자의 데이터 8,700만명 분을 불법으로 입수하여 투표 행위를 조작한 의혹이 2018년 3월에 제기되었다.

CA는 개인 데이터와 기계학습을 조합, 데이터를 근본으로 사용자의 취미나 기호를 예측하는 모델을 작성. 각 개인의 페이스북 유저에 대해 정치적 영향을 예측하여 트럼프 씨로의 투표를 촉구하기 위한 최적의 정치 광고를 전송했다는 의혹이 있으나, CA는 이를 전면 부인하고 있다.

원래 사람의 투표 행위를 바꾸게 하는 행위 자체는 위법이라고 할 수 없다. 자기 진영으로의 투표를 촉구하기 위한 수단으로 길거리 연설 및 TV토론, 매스컴에서의 광고 등은 정당하다고 인지되고 있기 때문이다.

이번 선거공작 의혹이 AI기술의 어두운 면모를 상징하는 것으로 인식되는 이유는 2가지 있다. 하나는 타깃팅에 사용된 개인 데이터가 이용자의 동의 없이 부정으로 취득되었다는 점. 또 다른 하나는 선거공장에 사용된 페이스북의 타깃팅 광고자체가 개인 데이터를 어떻게 수집해서 AI에게 분석시켰는지에 대한 투명성이 결여되어 있다는 점이다.  미국의 유권자는 모르는 사이에 자신의 데이터를 제공해 AI에게 조종당한 것이 된다.

■ 위해를 가하는 AI
병기나 자동차가 폭주

AI의 어두운 면모의 대표적인 것은 전쟁이나 살인에 응용하는 ‘AI 병기’일 것이다. 무인 운전 등에 사용하는 자립이동 및 화상인식의 기술을 사용하여 공격 목표를 식별해 자체 판단으로 공격한다. 완전히 인간의 판단을 배제하고 공격할 수 있는 자립형 병기는 현 시점에서는 존재하지 않다고 하지만, 많은 AI연구자는 해당 병기의 개발을 금지해야 한다고 주장하고 있다.

“우리는 구글이 전쟁 비즈니스에 참여하면 안 된다고 믿고 있다”. 3,000명 이상의 구글 사원이 심층학습으로 영상을 해석하는 미국 방총성의 연구 프로그램에 참여하지 않도록 순다 피차이 구글 CEO에게 요구하는 서한에 서명했다고 미국 뉴욕타임즈 등이 지난 4월에 보도했다.

해당 잡지에 따르면, 구글이 참여하는 미 국방총성의 프로젝트 ‘Maven’은 무인기가 촬영한 영상 데이터로부터 차량 등을 검출∙추적하는 AI의 개발을 목표로 하고 있다. 이에 구글측은 “프로젝트에 참여하는 영역은 비공격적인 분야로 한정되어 있다”고 주장하고 있다.

“한국과학기술원(KAIST)과의 그 어떠한 분야에서의 협력도 보이콧한다”. 세계 30개국으로 구성된 AI 및 로봇 연구자 50명이 2018년 3월, KAIST에 공식 서한을 보냈다. KAIST가 2018년 2월에 한국 군수기업과 ‘국방인공지능 융합연구센터’를 공동으로 설립한 것에 반대하기 위해서다.

“AI 병기는 화약의 발명, 핵폭탄의 발명에 이은 “전쟁의 제3혁명”이라고 일컬어진다. 화학병기나 생물병기와 같이 도덕적으로 사용할 수 없는 무기 리스트에 자립형 병기를 추가시켜야 한다”라고 공개 서한의 발기인인 호주 뉴사우스웨일스대 토비 윌시 교수는 본지의 취재에서 의사를 밝혔다.

■ 악의적인 AI에 대응한다
데이터 및 윤리의 정비가 열쇠

AI의 연구개발의 최전선에서 활약하는 기술자 및 연구자도 AI의 어두운 면모에 대처하기 위한 활동을 펼치고 있다.

가장 활발하게 이뤄지고 있는 것은 AI가 학습하는 기초가 되는 데이터 자체를 건전하게 유지시키거나 투명성을 높이는 움직임이다. 페이스북은 이번 의혹을 통해 타깃팅 광고를 6개월 안에 중지한다고 발표했다. “페이스북은 개인 데이터의 이용에 대해 본인의 동의를 구했는지 알 수 없는 제3자의 데이터 활용은 리스크가 크다고 생각한 것 같다”(DataSign의 오타(太田) 사장). 5월 2일에는 Web사이트의 방문 이력 및 앱의 이용경력을 유저가 삭제할 수 있는 기능을 순차적으로 도입한다고 발표했다.

-- 유럽 GDPR이 계기 --
유럽의 GDPR(General Data Protection Regulation)은 프로파일링에 관한 가이드를 정해 개인에게 중대한 영향을 미치는 완전 자동 처리에 따른 결정에 사람들이 굴복하지 않을 권리를 제시했다. AI의 폭주를 멈추게 할 ‘킬 스위치’(구로사카 씨)로서 기대를 모으고 있다. 해당 가이드라인은 프로파일링의 일반적인 투명성 및 공정성의 지침도 제시하고 있다.

AI에게 학습시키는 데이터에서 ‘독’을 제거하는 것을 지원하는 기업도 등장했다. 메타데이터는 유저기업이 수집한 데이터를 실시간으로 검사하여 외설이나 비방 중상, 범죄, 폭력 등의 부적절한 표현을 제거하는 클라우드 서비스를 제공. AI에게 학습시키는 “정답 데이터 만들기를 지원한다”(노무라 사장).

-- 사람을 속이는 AI를 파악한다 --
-- 연구자 및 기업이 ‘AI 윤리’를 논의 --

 -- 끝 --