일본산업뉴스요약

Nikkei X-TECH_2024.3.4

생성 AI 활용(1)
'사회의 상식'이 없는 생성 AI
업무 활용에서 어려움에 직면할 수 있는 9가지 포인트

“생성 AI(인공지능)의 업무 활용을 성공시키는 포인트는 무엇인가?” 이러한 문제의식을 바탕으로 취재를 시작한 기자가 느낀 것은 이 분야에는 아직 성공법칙이 존재하지 않는다는 냉엄한 현실이다.

그러나 과거 1년간 생성 AI의 PoC(개념 실증)가 많이 시행된 결과, 기업이 어려움에 직면할 수 있는 포인트는 어느 정도 드러나고 있다. 생성 AI 활용의 성공 확률을 높이고 싶다면 선행자가 경험한 '함정'을 피하는 것이 지름길이다. 이번 특집은 총 3회에 걸쳐 생성 AI 활용에서 직면하기 쉬운 어려움 9가지를 소개한다.

포인트 1: 생성 AI를 업무에서 활용하는 것은 본래 어렵다

첫 번째 포인트는 '생성 AI를 업무에서 활용하는 것은 본래 어렵다'라는 것이다. 대규모언어모델(LLM)은 사전에 학습한 지식 등을 바탕으로 텍스트를 생성한다. 그러나 “현재의 LLM은 웹 등에 게재된 잡다한 문서를 중심으로 학습하고 있다. 이 때문에 LLM에는 ‘사회인의 상식’이 결여되어 있다”. 이렇게 지적하는 것은 스톡마크의 아리마(有馬) CTO(최고 기술책임자)이다.

그가 말하는 사회인의 상식이란 비즈니스 세계에서 요구되는 용어나 그 의미를 이해하는 것이다. “이 세상에 어떤 업무나 시장, 기업, 기술이 존재하는가와 같은 지식이 결여되어 있다”(아리마 CTO). LLM에는 이러한 사회인의 상식이 결여되어 있기 때문에 업무에서 활용할 때는 “어떤 대책이 필요하다”라고 아리마 CTO는 지적한다.

-- '공동 연구'와 '공동 개발'의 의미를 구분 못해 --
아리마 CTO에 따르면, 예를 들어 어떤 LLM을 사용해 기업의 발표 정보 등을 분류·요약하는 태스크를 실행해본 결과, 이 LLM은 ‘공동 연구’와 ‘공동 개발’이라는 단어의 차이를 구별하지 못했다고 한다.

공동 연구 발표는 어디까지나 연구를 시작했다는 내용이며, 신제품이나 신기술이 실현될지는 확실하지 않다. 반면, 공동 개발 발표는 신제품이나 신기술을 실현하겠다는 기업의 의지가 담겨 있기 때문에 “발표가 주가를 움직이는 경우도 있다”(아리마 CTO). 비슷한 단어이지만 의미는 명확하게 구별할 필요가 있다.

비즈니스에서 사용되는 단어의 의미를 LLM에 엄밀하게 이해시키기 위해서는 “비즈니스에서 사용되는 문서 데이터를 사용한 파인 튜닝(추가 학습) 등이 필요하다”(아리마 CTO)라고 한다. 실제로 스톡마크는 현재, 비즈니스 분야의 지식을 가진 독자적인 LLM 개발을 추진하고 있다.

-- 항상 내용이 변하지 않는 답변이 요구되는 업무에는 적합하지 않아 --
“다양한 과제가 존재하는 현재의 생성 AI에는 적합한 업무와 적합하지 않은 업무가 있다”. 노무라종합연구소(NRI) 미래창발(未來創発)센터 생활 DX·데이터연구실의 다무라(田村) 치프 데이터 사이언티스트는 이렇게 지적한다.

생성 AI는 사전에 학습한 데이터를 바탕으로 답변을 생성하기 때문에 “어디선가 들은 적이 있는 답을 생성할 가능성이 높아 새로운 아이디어를 창출하는 업무에는 적합하지 않다” 고 한다. (다무라 데이터 사이언티스트)

한편, 생성 AI는 ”잡다한 정보를 정리하거나, 대량의 문장을 요약하는 작업에 적합하다”(다무라 데이터 사이언티스트). SNS에 올라온 대량의 글들을 정밀 조사하거나 출판된 대량의 논문을 요약하는 작업은 사람에게는 고통스럽지만, 생성 AI는 그러한 작업에 최적화되어 있다. 시스템 개발 등에 있어서의 코딩 지원도 특기이다.

생성 AI는 입력된 프롬프트(지시문)에 대해 확률적으로 출력을 생성한다. 따라서, 동일한 내용의 프롬프트에 대해 다른 내용의 출력 결과가 생성될 수 있다는 점에도 주의가 필요하다. 항상 내용이 바뀌지 않는 답변이 필요한 작업에 활용하는 것은 어렵다. 예를 들면, 기업이 고객에게 제공하는 Q&A 사이트나 서비스 데스크 등으로의 응용이다.

미국 오픈AI(OpenAI)의 LLM인 '챗GPT'의 API(애플리케이션 프로그래밍 인터페이스) 버전에는 온도(temperature)라는 파라미터가 있어 출력의 확률적인 변동을 어느 정도 제어할 수 있다.

온도는 0~2 사이에서 설정이 가능하며, 0으로 설정하면 동일한 프롬프트에 대해 항상 동일한 출력을 생성한다. 단, 프롬프트의 문자열이 조금이라도 바뀌면 출력 결과는 달라질 수 있다. Q&A 사이트나 서비스 데스크에서는 고객이 입력하는 프롬프트가 항상 같지 않기 때문에 LLM이 부적절한 답변을 할 가능성이 있다.

챗GPT 등은 정기적으로 업데이트되지만, 이로 인해 움직임이 변화하는 점에도 주의가 필요하다. LLM의 출력 결과를 그대로 고객에게 제공하는 유스케이스는 그에 상응하는 리스크가 있다는 것을 고려해야 할 것이다.

포인트 2: 직원에게 생성 AI를 사용하게 하는 것은 어려워

두 번째 포인트는 ‘직원에게 생성 AI를 사용하게 하는 것은 어렵다’는 것이다. 생성 AI를 도입할 때 우선 선발한 소수 직원에게만 사용하도록 하는 유저 기업은 적지 않다. 그러나 “소수 인원의 트라이얼은 실패하는 케이스가 적지 않다”. GPT-4 베이스의 생성 AI 서비스를 제공하는 엑사위저즈(ExaWizards)의 오우에(大植) 상무이사는 이렇게 지적한다.

-- 선발하는 것이 아니라 '모든 직원'이 사용하도록 해야 --
생성 AI를 누가 잘 다룰 수 있는지, 어떤 부서에 적합한지를 미리 가늠하기는 어렵다. 무엇보다 생성 AI는 시작 단계부터 많은 사람들이 사용하도록 하는 것이 중요하다고 한다. 대상 범위를 넓힘으로써 각 조직에서 생성 AI를 능숙하게 다루는 이용자가 반드시 나오기 때문이다. “그러한 이용자의 노하우를 다른 이용자에게 확산시키는 것이 활용 촉진에 도움될 가능성이 높다”고 오우에 상무이사는 지적한다.

단순히 직원에게 툴을 제공하는 것이 아니라, 이용에 필요한 가이던스 제공도 필요하다. 기업의 비밀정보를 입력해서는 안 된다 등의 기본적인 사용법도 철저히 지키도록 할 필요가 있다.

엑사위저즈는 유저 기업에 독자적으로 개발한 가이던스 등의 콘텐츠를 제공하고 있다. “금융 업계나 소매 업계 등에서는 가이던스를 받은 직원이 아니면 생성 AI를 사용하지 못하게 하는 기업도 나오고 있다”(엑사위저즈 홍보부).

포인트 3: 프롬프트 엔지니어링은 어렵다

세 번째 포인트는 “프롬프트 엔지니어링은 어렵다”라는 것이다. 생성 AI를 사용해 뛰어난 텍스트나 이미지를 생성하려면 뛰어난 프롬프트가 필요하다. 그러나 “프롬프트 엔지니어링은 결코 쉽지 않다”라고 NRI의 다무라 데이터 사이언티스트는 지적한다.

SNS에는 생성 AI가 작성한 전문가 수준의 화상이나 텍스트가 넘쳐나고 있지만 “잘된 사례만이 강조되기 쉽다. 프롬프트나 모델 선택의 시행착오를 거쳐야 비로소 좋은 출력 결과를 낼 수 있다”(다무라 데이터 사이언티스트). 한 번에 유저가 원하는 출력 결과를 내는 것은 어렵다고 한다.

다무라 데이터 사이언티스트는 “우리도 생성 AI를 시험하기 시작했을 당시에는 프롬프트만 만들면 좋은 결과를 얻을 수 있다는 기대를 안고 있었다. 그러나 경험해보고 알게 된 것은 프롬프트를 잘 작성하는 것만으로는 비즈니스 활용이 어렵다는 것이었다”며, 프롬프트 엔지니어링에 너무 많은 기대를 거는 것은 금물이라고도 지적한다.

또한 “생성 AI로 비즈니스상의 가치를 얻고 싶다면, RAG(Retrieval Augmented Generation, 검색 확장 생성) 등의 정비가 불가결하다”고 다무라 데이터 사이언티스트는 지적한다. RAG란 LLM이 답변을 생성할 때 유저의 프롬프트에 대응하는 지식정보를 참조하는 구조이다.

LLM의 외부에 있는 정보를 효율적으로 검색하기 위해 필요한 벡터 데이터베이스 등과 조합해 사용한다. “RAG는 생성 AI와의 상성이 매우 좋다”(다무라 데이터 사이언티스트)라고 한다.

 -- 계속 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.