전기전자/정보통신

Nikkei Computer_2023.8.31 포커스 (p38-43)

피할 수 없는 AI 리스크
선진 기업에게 배우는 대응책

생성 AI의 도입을 검토하는 기업이 늘고 있다. 다만 새로운 기술인 만큼 다양한 리스크도 따라다닌다. 환각(Hallucination)이나 정보 유출 등이 전형적이다. 기업이 본격적으로 활용하기 위해서는 어떤 대책이 필요한가? 선진 기업들은 어떤 수단을 강구하고 있는가? 지금, 기업이 알아 두어야 할 리스크의 종류와 대책을 정리한다.

대규모언어모델(LLM)에 기초한 생성 AI를 업무에 이용하려는 기운이 강해지고 있다. 제국데이터뱅크가 2023년 6월 20일에 발표한 조사에 따르면 '설문조사에 응답한 기업의 60% 이상이 생성 AI를 업무에 활용하거나 활용을 검토하고 있다'고 한다.

생성 AI는 문서 생성과 교정, 정보의 요약, 번역 등이 특기이며, 모든 업무의 생산성을 향상시킬 수 있는 잠재력을 갖고 있으며, 기업의 기대도 크다.

한편 리스크도 따른다. 잘못된 내용의 문장을 생성하거나 입력한 기밀 데이터가 생성 AI의 재학습에 사용되는 등의 문제가 전형적이다. 이런 리스크를 제대로 통제하지 못하면 기업이 본격적인 업무 이용에 나서기는 어렵다.

-- 법적 문제나 권리 침해를 고려 --
기업이 생성 AI를 이용하는 경우에 고려해야 할 리스크에 대해서, PWC 컨설팅의 후지카와(藤川) 파트너는 “비밀 정보나 개인정보의 누설, 저작권 등 제삼자가 소유한 권리의 침해, 환각 등을 들 수 있다”고 말한다.

프롬프트라고 불리는 질문 내용을 입력하고, 응답이라는 형태로 출력을 받는 생성 AI에서는 데이터의 ‘입력’ ‘출력’ 각각에서 주의해야 할 것이 있다.

우선 입력 프로세스에서 주의해야 할 리스크를 살펴보자. 특히 조심해야 할 것은 입력 데이터가 생성 AI 사업자의 학습에 사용될 수 있는 리스크다.

미국 오픈AI의 ‘챗GPT’를 Opt-out하지 않고 이용한 경우, 타인에게서 받은 비밀정보 등을 입력하면 비밀유지의무 위반이나 부정경쟁방지법 위반에 해당할 수 있다. 개인정보 입력은 개인정보보호법의 관점에서 주의를 기울여야 한다.

이들 정보의 입력과 관련된 법 규제에 대해서는 현재 논의가 이뤄지고 있지만 법적 위험이 존재하는 것은 틀림없다. 그 때문에 현시점에서는 이러한 정보의 입력을 피하는 시스템을 만드는 것이 필수다.

생성 AI 서비스를 제공하는 사업자마다 이용약관이나 데이터 취급이 다른 점도 주의가 필요하다. 일본딥러닝협회(JDLA)에서 전문위원을 맡고 있는 STORIA 법률사무소 대표 가키누마(柿沼) 변호사는 “반드시 이용약관을 확인할 필요성이 있다”라 강조한다. 약관에는 금지된 사용법이 명시돼 있거나, AI를 이용해 만들어 낸 취지를 생성물에 명시해야 한다는 규칙이 있는 경우가 있다.

출력 프로세스에 잠재하는 리스크는 어떨까? 생성한 문장 등에 허위가 포함될 수 있다는 점, 글이나 이미지 등 생성물이 타인의 저작권이나 상표권 등을 침해할 우려가 있음을 고려해야 한다.

-- 기술적 대응과 규칙 책정의 두 바퀴 --
리스크를 정리, 파악할 수 있으면 생성 AI의 활용을 검토하게 된다. 가키누마 변호사에 따르면, 어떠한 생성 AI 서비스를 사용할지 등의 ‘기술적/시스템적 대응’과 ‘사내 규칙의 책정과 교육’의 두 바퀴로 논의를 해야 한다고 한다.

어떤 생성 AI 서비스를 사용할지 검토하는 데는 도입 패턴 파악이 필수적이다. 기업이 생성 AI 서비스를 이용하는 형식은 크게 세 가지로 분류할 수 있다.

첫 번째는 생성 AI 사업자가 제공하는 웹 서비스를 이용하는 패턴이다. 미국 오픈AI의 챗GPT나 구글의 ‘Bard’, 마이크로소프트의 ‘Bing’과 같은 채팅 기능 등을 이용하는 것이다.

두 번째는 생성 AI 사업자 등이 제공하는 API(애플리케이션 프로그래밍 인터페이스)를 이용하는 패턴이다. 예를 들면, 자사에서 개발한 시스템에서 직접 외부의 생성 AI 사업자가 제공하는 API를 호출해 사내 이용하는 경우 등이 해당된다. 마이크로소프트의 'Azure OpenAI Service’처럼 클라우드 서비스를 통해 LLM 모델을 이용하는 패턴도 포함된다.

세 번째는 생성 AI를 활용하는 사업자의 서비스를 이용하는 패턴이다. SaaS(Software as a Service) 사업자 등은 텍스트 데이터의 요약 등 생성 AI를 활용한 자사 서비스를 이미 제공하기 시작했다.

그 외에 기업의 생성 AI 이용에 대해서는 자사 자체의 LLM을 구축하는 형태도 있다. 그러나 현재 LLM을 비롯한 생성 AI 모델을 자체 구축하고 있는 기업은 한정적이다.

세 번째 패턴에는 특유의 위험이 도사리고 있다는 점에 주의가 필요하다. 이 패턴에서는 입력 데이터의 관리는 SaaS 사업자 등이 담당하고 있다. 때문에 앞서 설명한 생성 AI를 둘러싼 리스크와 더불어 SaaS 사업자의 데이터 관리 체제 등도 살펴봐야 한다.

사내 규칙의 책정/교육에 대해서 가키누마 변호사는 “누가, 무슨 목적으로, 어떻게 생성 AI를 사용하는지를 정리하고, 사용법에 대해서는 규칙으로 규정할 필요가 있다”라고 설명한다.

이용의 목적과 범위를 명확히 함으로써 규칙을 정하기 쉬워진다. 규칙을 정하면 종업원 교육 등의 방침도 정해질 것이다.

일본 기업의 생성 AI 활용은 향후 단번에 분위기가 고조될 것이다. 일본 경제단체연합회(경단련)는 2023년 6월 9일, ‘AI 활용에 의한 Society 5.0 for SDGs의 실현을 위해’라는 정책 제언을 발표. 일본 기업의 생성 AI 활용에 대해서도 긍정적인 입장을 보였다.

또한 경단련의 담당자는 “리스크를 정리해 이용을 위한 가이드라인을 제시할 필요가 있다”라고 말한다. 기업의 AI 활용을 궤도에 올리기 위해서도 리스크의 적절한 관리가 필수적이라는 얘기다.

-- 모형을 참고하는 것이 한 방법 --
리스크를 정리, 파악할 수 있으면 구체적인 대책을 세우게 된다. 첫 걸음은 ‘가이드 라인의 책정’이다. 챗GPT 등은 누구나 쉽게 이용할 수 있다. 그렇기 때문에 사원의 활용 리터러시 자체를 높여 리스크를 인지시키는 것이 선결이다.

실제로 가이드라인을 작성할 때는 공개된 모형을 참고하는 것이 한 방법이다. 예를 들면, JDLA는 23년 5월 1일에 ‘생성 AI의 이용 가이드라인’으로서 모형을 공개했다.

JDLA가 공개하는 모형에서는 가이드라인의 목적, 대상으로 하는 생성 AI, 금지하는 용도, 입력/생성물 이용에서 주의해야 할 사항 등이 포함되어 있다. 입력에 대해서는, 개인정보나 타사로부터 비밀유지 의무가 부과된 공개된 비밀정보, 조직 내부의 기밀정보 등을 입력하지 않도록 촉구하고 있다.

생성 AI 이용과 관련된 법률이나 권리 침해에 대한 대응에서는 아직 불확실한 요소가 많다. 정보를 매일 수집한 후에 가이드라인 자체를 적절히 재검토하는 체제를 구축해 두는 것도 필요하다.

-- 사원의 프롬프트를 체크 --
다음으로 검토해야 할 것은 생성 AI 이용의 시스템 환경이다. 이미 생성 AI를 활용하고 있는 기업의 상당수가 정보 유출 위험 등을 회피하는 수단으로 폐쇄형 생성 AI를 이용할 수 있는 환경을 선택하고 있다. 대표격이 마이크로소프트의 Azure OpenAI Service라고 할 수 있다.

Azure OpenAI Service는 ‘GPT-3.5’나 ‘GPT-4’, ‘DALL-E’(23년 8월 시점은 프리뷰 버전) 등 오픈 AI의 AI 모델을 ‘Microsoft Azure’에서 사용할 수 있는 서비스이다. 입력한 내용이 AI의 재학습에 사용되지 않도록 설정하는 것이 가능하다. 그래서 Azure에 입력용 화면을 표시하는 시스템을 자사 전용 환경으로 만들어 두면, 재학습에 의한 정보 유출 위험을 억제할 수 있는 것이다.

일본 기업으로서 발빠르게 생성 AI의 사내 환경을 구축한 파나소닉커넥트는 초기 화면 표시에도 많은 연구를 했다. 모든 직원이 생성 AI 이용의 위험을 의식할 수 있도록 초기 화면에 주의사항을 게시하고 있다.

게다가 파나소닉커넥트 IT/디지털추진본부 전략기획부의 무카이노(向野) 매니저는 “사원의 부적절 이용을 감지하는 시스템이 (리스크에 대한) 방위책의 하나다”라고 설명한다.

파나소닉커넥트는 사원이 입력한 프롬프트의 로그를 취득/관리/감시하는 시스템을 이미 구축했다. 우선 텍스트를 스캔해 부적절한 용어 등을 검출하는 'Moderation API'를 사용해 부적절할 가능성이 있는 문장을 검출한다. 그 다음에 Azure OpenAI Service에서 제공하고 있는 컨텐츠 필터를 통해 폭력적인 표현 등을 감지한다. 최종적으로는 사람의 육안으로 부적절한 이용을 확인하고 있다.

-- 테스트로 AI의 출력 리스크에 대응 --
현재는 많은 기업이, 공개정보를 바탕으로 답변을 생성시키는 범용적인 생성 AI의 활용이나 검증 이용에 머무르고 있다. 하지만 향후에는 생성 AI의 모델을 파인튜닝하는 등 자사의 사업이나 서비스에 특화된 형태로 이용할 것으로 전망된다.

이때 주의를 기울여야 할 것은 학습 데이터의 편향 등으로 인해 차별적 요소를 포함한 모델을 구축해 버리는 것이다. 이러한 모델을 활용해 고객 서비스를 제공하게 되면 기업의 신뢰는 실추될 수 있다.

Deloitte Tohmatsu Group의 마쓰모토(松本) 시니어 스페셜리스트는 기업에 축적되어 있는 데이터에는 사업이나 기업문화에 의한 바이어스나 편향이 있다는 점을 지적한 후에 “이러한 바이어스가 정당한지 여부를 확인해야 한다”라고 강조한다. 마쓰모토 씨는 AI 모델의 정확성을 확인하는 수단으로서, 기업의 데이터를 학습한 모델의 출력을 모니터링함으로써 판단하는 방법을 든다.

모델의 출력을 테스트해 생성 AI의 출력 리스크를 평가하는 서비스도 나오고 있다. 그동안 AI 모델을 평가하고 리스크를 감시하는 툴을 제공해온 미국 Robust Intelligence는 23년 5월에 '생성 AI 리스크 평가 서비스'를 제공하기 시작했다.

이 서비스에서는 정확한 응답을 하고 있는지 등의 ‘기능/품질’, 편견이 있는 응답은 아닌지 등의 ‘공평성’, 프롬프트 인젝션 등에 견딜 수 있는지 등의 ‘시큐리티’와 같은 항목으로 테스트 케이스를 준비. 기업이 이용하고 싶은 모델에 자동으로 적용시켜 출력을 확인함으로써 부정한 출력이나 유해한 출력이 없는지를 파악한다. 준비된 항목을 클리어함으로써 안전한 AI 모델을 가동할 수 있다는 것이다.

생성 AI의 활용에서는 기술 동향이나 그에 수반하는 법적 견해에 대한 대응 등, 항상 불확정 요소가 따라다닌다. 규칙이나 툴을 적절히 재검토하면서 최선의 안전책을 모색하는 자세가 필수적이다.

-- 약 70%가 사내 환경을 구축 --
생성 AI를 둘러싼 리스크에 대해 선진 기업들은 실제로 어떻게 대응하고 있을까? 실태를 알아보기 위해 닛케이 컴퓨터는 자체 조사를 실시했다. 대상은 첨단기술에 대한 민감도가 높을 것으로 보이는 'DX 주목기업 2023'에 선정된 32개사. 업종은 건설, 제조, 금융, 도매 등 다양하다.

그 중, 26사로부터 앙케트 응답을 얻었다. 우선 앙케트 결과를 바탕으로 기업의 생성 AI 활용과 리스크 대응 실태 동향을 살펴보자.

생성 AI를 업무에 이용하고 있는지에 대해서는 응답 기업의 54%가 '이용하고 있다', 31%가 '본격적인 이용 검토를 위해 검증 중'이라고 응답했다. ‘이용하지 않는다’는 15%에 그쳤다. 80%의 기업이 생성 AI의 업무 이용에 긍정적이며, 절반 이상은 이미 활용하기 시작한 것으로 나타났다.

구체적인 이용 방법은 어떨까? 생성 AI를 ‘이용하고 있다’ ‘본격적인 이용 검토를 위해 검증 중’이라고 응답한 기업 22개사에 복수 응답으로 질문한 결과, 가장 응답수가 많았던 것은 ‘사내 환경을 구축해 이용’이 68%(15개사). 생성 AI를 이용하는 기업 중 약 70%가 마이크로소프트의 Azure OpenAI Service 등을 활용해 사내 환경을 구축한 후에 이용하고 있다.

‘챗GPT 등 외부 대화형 챗봇 등을 직원에게 가이드라인을 제시한 후에 이용한다’고 응답한 기업은 36%(8개사). ‘생성 AI를 활용한 기능을 가진 SaaS를 이용한다’고 응답한 기업은 5%(1개사)였다. ‘기타’라고 응답한 것이 14%(3사). 구체적으로는 ‘소프트웨어 개발에서는 ‘GitHub Copilot’을 검증 이용중’ 등이었다.

생성 AI를 이용 중이거나 검증 중인 기업에게 리스크 관리 체제에 대해서도 물어봤다. 응답 수는 22사다.

'생성 AI와 관련된 리스크의 관리/감시 기능이 되는 조직을 신설했는가?'라는 물음에 대해 가장 많았던 것은 '기존 조직에서 대응'이 77%(17사). 법무부문이나 정보시스템 부문, 지적재산 부문, DX 추진조직 등에서 관리체제를 구축하고 있는 기업이 70% 이상을 차지했다. ‘신설했다’고 응답한 기업은 9%(2개사). ‘특별히 전담 조직은 없다’라는 응답이 14%(3사)다.

-- 18개사의 구체적인 리스크 대응 시책 --
이번 조사에서는 생성 AI의 이용에 적극적인 기업의 자세가 부각되었다. 그렇다면 실제로 현시점에서 어떻게 리스크에 대한 대응책을 강구하고 있는가?

자유응답으로 질문한 결과, 18개사가 구체적인 시책을 공개했다. 응답 기업의 대부분이 공통적으로 우려하는 것은 ‘저작권 등의 권리 침해’ ‘비밀정보나 개인정보 등의 정보 누설’ ‘생성물 내용의 허위 가능성’ 등이다.

대부분의 기업이 사원들을 위한 이용 가이드라인의 정비를 완료했다. 생성물의 이용이 저작권 침해가 될 수 있는 가능성을 나타내거나 개인정보나 비밀정보는 취급하지 않는다 등의 주의점을 제시해 사원들이 철저히 지키도록 하고 있다.

이용에서는 리스크 관리로서 사원들의 신청에 근거한 승인제를 채용하고 있는 기업도 있다. 오바야시구미와 미쓰이물산, 야마토홀딩스 등이다.

Azure OpenAI Service 등을 활용해 '사내판 챗GPT'를 구축하고 있는 기업도 많이 볼 수 있었다. 사내 환경을 구축한 후에 생성 AI 이용 시의 로그의 취득/관리/감시 체제를 확보한다. 그 외, 사내 네트워크에서의 이용이나 웹 필터링 기능을 통한 액세스 제한으로 사원의 이용을 관리하는 대책을 실시하고 있다고 한다.

사원의 안전하고 효과적인 이용을 위해 상담 창구를 설치하는 움직임도 여러 기업에서 볼 수 있었다. 히타치제작소와 아사히카세이 등은 사원의 이용에 대해 상담 창구를 설치해 언제든지 질문을 할 수 있는 체제를 갖췄다. 그리고 아사히카세이는 생성 AI의 이용에 대해 사원끼리 정보를 공유할 수 있는 커뮤니티를 설립했다.

 -- 끝 --

Copyright © 2020 [Nikkei Computer] / Nikkei Business Publications, Inc. All rights reserved.