일본산업뉴스요약

Nikkei X-TECH_2024.7.5

세일즈포스, RAG를 통해 '업무를 잘 아는 생성AI'를 목표로
자체 개발용 지원 툴도 제공

외국계 대형 IT벤더들이 제공하는 SaaS(Software as a service)가 최근 생성AI를 활용한 기능 제공을 잇따라 시작하고 있다. 생성AI를 이용한 요약 기능을 SaaS의 표준 기능에 도입하거나 대화형 UI(User Interface) 제공을 시작하고 있다.

이러한 SaaS의 움직임은 ‘생성AI를 업무 애플리케이션에 어떻게 적용할 것인가?’를 고민하고 있는 기업에게 참고가 될 것 같다. 이번 특집은 외국계 벤더가 제공하는 SaaS를 통해 생성 AI의 업무 이용 실태를 소개한다. 그 2번째인 이번 기사에서는CRM(Customer Relationship Management, 고객 관계 관리)를 중심으로 한 SaaS를 제공하는 미국 세일즈포스(Salesforce)의 AI 전략을 살펴본다.

“소비자용과는 달리 업무에서 생성AI를 이용하기 위해서는 문맥의 이해나 신뢰성 등이 매우 중요하다”. 세일즈포스의 일본법인, 세일즈포스 재팬 제품통괄본부 프로덕트매니지먼트&마케팅본부의 마에노(前野) 프로덕트마케팅 시니어매니저는 이렇게 설명한다.

세일즈포스는 ‘Einstein’이라는 명칭으로 AI 관련 기능을 제공하고 있다. 세일즈포스는 영업 지원의 ‘Sales Cloud’나 서포트 지원의 ‘Service Cloud’와 같은 SaaS에 기계학습을 이용한 예측이나 추천 등 AI를 활용한 기능을 도입해 제공해왔다.

또한, 최근 세일즈포스가 강화하고 있는 것이 생성AI의 활용이다. “소비자용 생성AI가 등장함으로써 업무 애플리케이션을 구축하는 방법도 크게 바뀌고 있다”라고 마에노 시니어매니저는 강조한다. 특히 세일즈포스가 주력하고 있는 것이 기계학습과 마찬가지로 Sales Cloud나 Service Cloud 등의 SaaS에 생성AI를 활용한 기능을 도입해 제공하는 것이다.

-- RAG를 지원하기 위한 툴 마련 --
세일즈포스의 생성 AI는 자체 개발한 대규모언어모델(LLM)을 이용하지 않고 오픈AI 등이 제공하는 기존의 LLM을 이용해 생성AI와 관련된 기능을 실현하는 방법을 채택하고 있다.

“업무에서 생성AI를 이용할 때 가장 어려운 것은 세일즈포스의 SaaS에 축적된 고객의 데이터를 이용하는 것이다”라고 마에노 시니어 매니저는 말한다. 업무에서 이용이 가능한 수준까지 답변의 정확도를 높이려면 SaaS에 축적된 고객사의 데이터를 LLM 학습에 이용해야 한다.

그러나 보안 등의 관점에서 고객사의 데이터를 외부 LLM의 학습 데이터로 이용하는 것은 현실적이지 않다. 세일즈포스는 고객사가 RAG(Retrieval Augmented Generation, 검색 증강 생성)를 이용해 보안이 담보되면서 최적의 답변을 제공 받을 수 있는 시스템을 마련했다. RAG는 AI 모델의 답변 생성에 외부 정보를 부가해 적절한 답변을 제공하는 방법이다. 고유의 용어 등을 사용하는 업무 용도에 유효하다.

세일즈포스가 마련한 시스템을 이용할 경우, 처리의 흐름은 이렇다. SaaS를 이용하고 싶은 앤드유저가 생성AI를 활용한 기능에 프롬프트를 입력하면, 프롬프트에 포함된 상세한 거래처나 고객 정보 등 유출되어서는 안될 데이터를 마스킹해 외부 AI 모델에 전달한다. 이 때, 세일즈포스의 SaaS에 축적된 데이터로부터 정보가 부가된다. 이를 바탕으로 고객이 업무에 이용할 수 있는 정확도의 답변을 제공할 수 있다.

유저 기업의 데이터는 학습 데이터에는 이용되지 않는다. 유저 기업은 기밀성이 높은 데이터 유출을 걱정하지 않아도 되는 한편, 자사의 업무 데이터가 부가된 답변을 제공 받는다. 실제 업무에 이용 가능한 답변을 쉽게 제공 받을 수 있다는 장점이 있다.

-- 데이터마스킹과 할루시네이션 방지 툴 마련 --
이러한 시스템을 유저 기업이 자체 개발할 수 있도록 세일즈포스는 주로 3가지 툴을 마련했다.

첫 번째는 'Prompt Builder'와 'Model Builder'. AI를 활용한 기능 개발 플랫폼인 'Einstein 1 Studio'를 구성하는 툴로 제공된다.

세일즈포스의 SaaS 데이터를 활용해 프롬프트 작성을 지원하는 것이 ‘Prompt Builder’이다. ‘신제품에 대한 안내를 구매액 상위의 고객에게 보내는 글을 작성하고 싶다. 이 때, 고객별로 할인율을 바꾸고 싶다’라는 요망이 있을 경우, Prompt Builder는 '신제품'에 대해 세일즈포스의 SaaS에 등록되어 있는 '상품 기록', 상위 거래처에 구매 조건을 부가한 '거래처 기록', SaaS에 저장되어 있는 ‘할인율’ 등을 삽입하는 작업을 지원한다.

'Model Builder'는 오픈AI의 ‘GPT’ 등 외부 LLM을 세일즈포스에서 이용할 수 있도록 하는 것이다. 세일즈포스 본사와 ‘세일즈포스로부터 제공 받은 데이터는 학습 데이터에 이용하지 않는다’라는 약정을 체결한 기업의 LLM만 SaaS 환경을 통해 연계가 가능하다.

두 번째가 RAG에 이용하는 데이터를 저장하는 ‘Data Cloud’이다. 올 8월부터 벡터 데이터베이스 기능이 추가될 예정이다. 구조화된 데이터뿐만 아니라, 비구조화된 데이터도 저장해 AI 모델에 제공되는 부가 데이터를 벡터화한다. “이전에는 CRM에 축적된 고객 데이터를 관리하기 위한 데이터베이스의 역할이었지만, 지금은 보다 AI를 활용해 나가기 위해 필요한 데이터를 축적하는 역할이다”라고 마에노 시니어 매니저는 설명한다.

마지막이 'Einstein Trust Layer'이다. 데이터의 보안과 할루시네이션(환각)을 막는 기능을 가진 기능군이다. Data Cloud에서 얻은 데이터의 민감한 정보에 마스킹한 후 외부 AI 모델의 데이터와 통합하거나, AI 모델이 제공한 답변에 문제가 있는지를 감독하는 기능을 갖는다.

-- 대화형 생성 AI도 독자적 기능 개발이 가능 --
임베디드형 생성AI와 함께 세일즈포스가 제공하는 생성AI를 활용한 기능이 대화형 생성AI인 ‘Einstein Copilot’이다. 올 10월부터 일본어 베타 버전 이용이 가능해진다.

세일즈포스 SaaS의 앤드유저가 원하는 것, 예를 들면, ‘세미나 안내를 거래처 상위 3사에 보내고 싶다’와 같은 자연문으로 입력하면, Einstein Copilot가 지시문을 이해해, (1)거래처 상위 3사 검색, (2)경영 세미나의 전자 메일 작성, (3)메일 송신 등의 작업을 하는 기능이다.

언뜻 편리해 보이지만, “모든 기능이 Einstein Copilot에 적합한 것은 아니며, 임베디드형 생성AI 기능과 Einstein Copilot을 구분해 사용하게 될 것으로 생각된다”라고 마에노 시니어 매니저는 말한다.

Einstein Copilot도 유저의 추가 개발이 가능하다. 세일즈포스는 ‘Copilot Builder’라고 하는 개발 툴을 마련. “영업 담당자 중에서 AI를 잘 아는 사람 등이 프롬프트를 작성하거나, 사내 세일즈포스 관리자가 모델 개발을 하는 등, 다양한 입장의 사람들이 생성AI를 활용한 기능을 새롭게 개발해 나갈 수 있을 것으로 생각한다”라고 마에노 시니어 매니저는 말한다.

  -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.