전기전자/정보통신

Nikkei Computer_2024.1.25 (p26-33)

생성형 AI로 추격하는 AWS
re:Invent 2023 현지 리포트

미국 아마존 웹 서비스(AWS)가 ‘AWS re:Invent’를 2023년 11월 27일부터 5일간에 걸쳐 개최했다. 핵심은 역시 대규모언어모델(LLM) 등 생성형 AI(인공지능)이다. AWS 자체의 생성형 AI 어시스턴트 ‘Amazon Q’를 발표했으며, LLM 서비스인 ‘Amazon Bedrock’의 기능도 대폭 강화했고, 앞서고 있는 미국 마이크로소프트 등을 필사적으로 추격한다. re:Invent에서 발표한 새로운 서비스와 기능에 대해 보고한다.

이번 ‘AWS re:Invent’는 생성형 AI 일색의 이벤트였다. AWS의 애덤 셀립스키 CEO가 행사의 핵심으로 발표한 것은 새로운 생성형 AI 어시스턴트 서비스 ‘Amazon Q’이다.

Amazon Q는 기업용으로 특화된 AI 어시스턴트로, AWS의 각종 클라우드 서비스를 숙지한 전문가로서의 얼굴과 자사 데이터를 사용해 커스터마이징 할 수 있는 비즈니스 전문가로서의 얼굴을 갖고 있다.

셀립스키 CEO는 기조강연에서 “기존의 AI 채팅 애플리케이션은 소비자에게 편리하지만 대부분의 경우 일반적인 지식만으로는 업무에서 작동하지 않는다”라며 기업용 AI 어시스턴트의 중요성을 강조했다.

Amazon Q는 4가지 용도가 있다. 첫 번째 용도는 시스템 개발 지원이다. "AWS가 보유한 17년치 경험으로 AI를 훈련했다"는 Amazon Q는 AWS의 각종 서비스를 숙지하고 개발자의 AWS 애플리케이션 구축을 지원한다.

예를 들어 AWS의 관리 콘솔 화면에서 호출한 Amazon Q에 "게임 용도로 영상 인코딩 등을 할 때 가장 높은 성능을 발휘하는 Amazon EC2 인스턴스는?"이라고 질문하면 Amazon Q는 "VT1 인스턴스"라고 답변한다.

-- 1,000개의 앱을 이틀 만에 업데이트 --
기존 코드의 업그레이드에도 도움이 된다. 코드를 해석해 수정이 필요한 요소를 특정하고, 새로운 코드를 생성한다. 기조강연에서는 ‘자바 8’에서 ‘자바 17’로 업그레이드하는 케이스를 소개. 개발자 5명으로 구성된 팀이 1,000 종류의 애플리케이션의 업그레이드를 이틀만에 실시할 수 있었다고 한다.

두 번째 용도는 마케팅, 영업, 인사, 총무 등 각종 전문직의 지원이다. Amazon Q는 Amazon S3를 비롯해 Dropbox나 Google Drive, Microsoft 365, Salesforce 등 40개 이상의 서비스와 연계 가능하다.

이들 클라우드 서비스에 저장하는 사내 데이터와 접속함으로써 '로고 사용에 관한 최신 가이드라인을 알려달라'와 같은 자사에 특화된 지시에 응답할 수 있다. 문서의 요약이나 메일의 초안과 같은 업무 지원 기능도 있다.

세 번째 용도는 BI(비즈니스 인텔리전스) 툴과의 통합이다. AWS의 BI 툴 'Amazon Quick Sight'에 Amazon Q를 내장함으로써 자연언어에 의한 데이터 분석이나 가시화가 가능해진다.

Amazon QuickSight 화면에서 '어느 구역의 매출이 가장 높은가?'라고 질문하면 단순히 가장 높은 구역을 답할 뿐만 아니라 매출 순위를 막대그래프로 표시하거나 매출을 지도상에 원 크기로 표시하는 가시화가 가능하다. '최근 한 달간 비즈니스에 어떤 변화가 있었는지 이유를 알려달라'는 지시에 대해서는 참조 가능한 데이터를 바탕으로 가설을 제시한다.

네 번째 용도는 콜센터 지원이다. AWS의 기존 서비스 ' Amazon Connect'는 자동 접수 시스템 등을 클라우드 상에 구축/운용할 수 있다. Amazon Q를 내장함으로써 기존과 비교해 폭넓은 제안 등을 할 수 있게 된다.

대규모언어모델(LLM)을 API(애플리케이션 프로그래밍 인터페이스) 경유로 이용할 수 있는 생성형 AI 서비스 ‘Amazon Bedrock’에 대해서도 기능 확장 등을 발표했다.

생성형 AI 애플리케이션 개발을 용이하게 하기 위해 LLM의 파인 튜닝(추가 학습)과 지속적인 사전 학습, RAG(검색 확장 생성) 등을 용이하게 하는 기능을 추가했다.

파인 튜닝이란, 사전 학습이 끝난 LLM을 라벨이 있는 학습 데이터를 사용해 더욱 더 트레이닝을 하는 것, 계속적인 사전 학습이란 라벨이 없는 학습 데이터를 사용해 사전 학습이 끝난 LLM을 더욱 더 트레이닝 하는 것을 말한다. 지속적인 사전 학습을 통해 업계 용어 등 도메인 지식에 기반한 응답이 가능한 LLM을 개발할 수 있다.

RAG는 LLM이 답변을 생성할 때 유저의 질문에 따른 지식정보를 참조하는 구조다. RAG에 필요한 시스템 등을 관리적으로 제공하는 'Knowledge Bases for Amazon Bedrock'의 일반 제공을 시작했다. LLM 외부에 있는 정보를 효율적으로 검색하기 위해 필요한 벡터 데이터베이스(DB) 등을 AWS가 서비스로 제공한다. 지금까지 RAG를 구현하려면 벡터 DB 등을 유저 기업 측이 마련해야 했다.

이러한 3개를 추가하는 것을 통해 “몇 번의 클릭만으로 지극히 개별적이고 구체적인 생성형 AI 애플리케이션을 구축할 수 있다”(셀립스키 CEO).

-- 자연언어로 생성형 AI 앱 개발 --
생성형 AI 앱 개발을 용이하게 하는 기능으로는 기존 시스템과 LLM을 연결하는 역할을 하는 'Agents for Amazon Bedrock'의 일반 제공을 시작했다. 시스템 개발자가 생성형 AI 앱에서의 처리 흐름을 자연언어로 기술해 AI에 지시하면 AI가 자동으로 기존 시스템에 대한 접근 방법을 탐색해 람다 함수 등으로 구현된 에이전트를 만든다.

에이전트에 의한 API의 호출이나 답변의 생성과 같은 생성형 AI 앱의 처리 순서 등도, AI가 인간의 지시에 따라서 결정한다. 시스템 개발자는 복잡한 프롬프트를 직접 설계하지 않아도 생성형 AI 앱을 구축할 수 있게 된다.

생성형 AI 앱이 안전한 답변을 하도록 제어하는 서비스인 'Guardrails for Amazon Bedrock'도 프리뷰를 시작했다. LLM 자체에도 폭력적이거나 차별적인 내용을 포함한 답변을 하지 않도록 보호 기능이 내장된 경우가 많다. Guardrails for Amazon Bedrock에서는 이에 더해 LLM이 내놓은 답변에 대해 유스케이스에 따른 필터링을 적용해 바람직하지 않은 답변을 차단한다.

LLM의 트레이닝을 뒷받침하는 하드웨어로는 AWS가 자체 개발한 'AWS Trainium 2' 프로세서를 발표했다. 1세대 'AWS Trainium'과 비교해 트레이닝 처리가 4배 고속이며, 3배의 메모리 용량을 갖는다. 에너지 소비 효율도 최대 2배로 향상된다고 한다. LLM 트레이닝에 소요되는 시간의 단축을 기대할 수 있다. AWS Trainium 2는 Amazon EC2 Trn2 인스턴스를 통해 이용할 수 있으며, 1인스턴스 당 16개를 탑재한다.

-- LLM의 평가도 자동화 --
LLM의 성능을 평가하는 'Model Evaluation on Amazon Bedrock'도 발표했다. 유저의 유스케이스에 따른 최적의 기반 모델을 선택할 수 있도록 하는 기능으로, Bedrock의 관리 콘솔을 통해 사용할 수 있다.

AWS 데이터 및 AI 부문 부사장인 스와미 시바수브라마니안은 기조 강연에서 “모델 평가를 위해서는 유저가 워크 플로우를 설정해야 하지만 구축도 운용도 어렵다. 우리는 고객들이 각자의 니즈에 맞는 모델을 쉽게 평가할 수 있도록 하겠다”라고 말했다.

유저는 특정 태스크에 대해 비교하고 싶은 모델을 Bedrock에서 여러 개 선택하고, 정확성과 견고성 등의 평가 기준을 설정한다. 선택할 수 있는 모델은 Bedrock에서 이용할 수 있는 것에 한정된다. 그 후, Bedrock에 준비된 임베디드 데이터셋으로 성능을 평가한다. 유저가 자체 데이터셋을 업로드도 할 수 있다.

일반적인 평가가 아닌 유저의 주관적인 판단을 평가에 추가하고 싶은 경우는 인간에 의한 평가용 워크플로우를 설정한다. 사양이나 관련성 등 유저가 평가하고 싶은 항목을 설정한다. 몇 번의 클릭으로 인간 기반의 평가를 설정할 수 있다고 한다.

모델 평가는 유저의 유스케이스마다 지표가 달라 비교를 위해서는 유저가 자체 기준을 설정한 후에 평가 툴을 준비할 필요가 있었다. 기계학습 서비스인 ‘Amazon SageMaker’를 사용해 유저가 자기 부담으로 설정하면 모델 평가는 가능했다. 하지만 “평가를 실행하기 위해서 몇 일을 소요해야 했다”(AWS).

-- 멀티모달로 임베딩 --
Bedrock에 대해서는 API를 통해 이용할 수 있는 AI 모델을 증강했다. AWS에 의한 이미지 생성 모델 'Amazon Titan Image Generator'를 프리뷰로서 이용할 수 있게 되었다. AI로 생성한 이미지라는 것을 알려주는 ‘디지털 워터마크’를 자동으로 생성한다.

텍스트와 이미지의 조합(멀티모달)에 대응하는 ‘Amazon Titan Multimodal Embeddings’의 일반 제공도 시작했다. 이미지가 갖고 있는 정보를 의미 기반의 벡터 형식으로 변환(임베딩)해 벡터 DB에 보존할 수 있는 모델이다.

이것을 사용해 정보를 임베딩하면 텍스트와 이미지를 조합한 프롬프트(지시), 즉 멀티모달한 프롬프트에 대해서 검색이나 추천 결과를 돌려줄 수 있다. 예를 들면, 흐린 하늘의 이미지에 덧붙여 ‘이 이미지를 바탕으로 맑은 하늘의 이미지를 찾아줘’라고 지시하면, 유저가 보유한 데이터로부터 최적의 이미지를 선택해 표시한다.

-- LLM의 학습시간 40% 단축 --
Amazon SageMaker에는 ‘SageMaker HyperPod’라는 LLM 학습에서의 분산 처리를 최적화하는 신기능을 추가했다. 학습 워크로드를 수천 개의 AI용 액셀러레이터로 자동 분할해, 병렬 처리를 통해 학습에 걸리는 시간을 최대 40% 단축할 수 있다고 한다.

방대한 수의 액셀러레이터를 사용하는 분산 처리에서는 액셀러레이터 고장으로 인한 에러 발생 확률이 높아진다. 작은 에러로 학습의 워크로드 전체가 멈춰 버릴 리스크가 있어, “아무런 대책도 세우지 않았을 경우, 중단 시점이 아니라 제로부터 학습을 다시 시작하는 재작업이 발생했었다”(AWS).

SageMaker HyperPod는 학습의 진척을 자동적으로 보존하고, 하드웨어에 장애가 발생했을 경우에 자동으로 검출. 마지막으로 보존한 시점부터 트레이닝을 재개할 수 있다.

-- 벡터 검색을 강화 --
생성형 AI 앱 개발에 필요한 벡터 검색 기능을 탑재한 DB 서비스도 다수 발표했다. 시바수브라마니안 부사장은 기조강연에서 "LLM의 커스터마이징이나 자체 모델의 구축과 같은 생성형 AI 프로젝트에서는 고품질 데이터에 접근할 수 있는 것이 중요하다"라며 생성형 AI 앱에서의 벡터 검색의 중요성을 강조했다.

AWS는 지금까지도 관리형 DB 서비스인 PostgreSQL 버전의 Amazon Aurora와 Amazon RDS for PostgreSQL, 관리형 검색엔진 서비스 Amazon OpenSearch Service에서 벡터 검색 기능을 제공해왔다. 또한 이번에 MongoDB와 호환되는 도큐먼트 DB 서비스인 ' Amazon DocumentDB'와 키-밸류형 데이터스토어 서비스인 ' Amazon DynamoDB'에서 벡터 검색 기능의 일반 제공을 시작했다.

NoSQL의 DB 서비스인 "Amazon MemoryDB for Redis"에서도 벡터 검색 기능의 프리뷰 버전 제공을 시작했다. 수백만 건의 벡터 데이터 저장에 대응한다. 1자리 밀리초의 읽기/쓰기 지연시간(Latency)과, 매초 수만건의 쿼리 처리를 99% 이상의 재현율로 제공한다.

서버리스 검색 엔진 서비스에 벡터 검색 기능을 탑재한 'Vector Engine for Amazon Open Search Serverless'는 일반 제공을 시작했다. 벡터로 표현된 수십억 개의 데이터를 밀리초 단위의 소요시간으로 저장, 갱신, 검색할 수 있다.

-- ETL이 필요 없는 ‘제로 ETL’ --
생성형 AI 이외에서는, DB로부터 데이터웨어하우스(DWH)에 분석용 데이터를 카피할 때의 ETL(추출, 변환, 로드)이 필요 없는 ‘제로 ETL’이나, 서버리스 컴퓨팅에 관한 새로운 서비스/기능의 발표가 이어졌다.

제로 ETL은 22년에 열린 re:Invent의 핵심이었다. 처음에는 AWS의 관계형 DB 서비스인 Amazon Aurora의 MySQL 버전과 DWH 서비스인 Amazon Redshift 사이에서 제로 ETL이 가능했다.

이번에 새로 PostgreSQL 버전의 Amazon Aurora나 Amazon RDS for MySQL, Amazon DynamoDB 등에서도, Redshift에 제로 ETL하는 기능과 DynamoDB로부터 AWS의 관리형 검색 서비스인 Amazon OpenSearch Service에 대해서 제로 ETL을 실시하는 기능 등을 발표했다.

-- 서버리스 DB의 처리 능력 강화 --
서버리스는 애플리케이션을 실행하는 가상머신이 필요할 때만 자동적으로 가동되고, 필요가 없어지면 자동적으로 삭제되는 구조다. 이 서버리스의 응용 범위를 더욱 넓히기 위해 서버리스에서 이용할 수 있는 DB의 기능을 확장했다.

구체적으로는 서버리스에서 이용할 수 있는 관계형 데이터베이스(RDB)의 성능을 초당 수백만 트랜잭션까지 자동적으로 확장할 수 있는 'Amazon Aurora Limited Database' 등을 발표했다. RDB의 수평 스케일링(샤딩)을 자동화하는 시스템을 갖추고 있다.

기존의 서버리스 버전 RDB 서비스 'Amazon Aurora Serverless v2'에서는 단일 인스턴스 처리 능력에 초당 수십만 트랜잭션이라는 상한이 있었다. 그 이상의 처리 능력이 필요한 경우에는 단일 DB를 여러 DB로 분할함으로써 쿼리 처리를 병렬 실행하는 샤딩을 유저 측이 설정해야 했다.

-- 서버리스로 비용 최적화 --

 -- 끝 --

Copyright © 2020 [Nikkei Computer] / Nikkei Business Publications, Inc. All rights reserved.

IT가 위험하다
정규 도메인도 탈취당하다, 고도화되는 피싱에 주의
특집
디지털 인재육성 2.0, 탑에서 현장까지 배움의 톱니바퀴를 돌리다
스미토모생명보험이 사설 교육시설을 회사 전체로 확대, 육성은 다음 스테이지로
현장에서 회사를 움직이다, ‘비 IT’ ‘시민’이 추진
톱 기점에서 견인, 육성 사이클을 가속
인터뷰: 정보처리추진기구(IPA) 사이토 유타카(齊藤 裕) 이사장
사회 변화를 포착해 필요한 스킬을 표준화, DX를 리드하는 인재 육성을 지원
특집
생성형 AI로 추격하는 AWS -- ‘re:Invent 2023’ 현지 리포트
포커스
히타치, 해외 IT 사업 ‘1조엔’에 대한 도전
뉴스 & 리포트
・69개사의 메일 매거진을 긴급조사, 구글의 요건을 충족시키고 있는가?
・'마이넘버 의료보험증'으로 단일화 결정, 시스템 대응이 필요하게 될 가능성
・'MEJAR'이 오픈 환경으로 이행, 어른거리는 NTT데이터의 1강 체제
・2024년도 정부예산이 나오다, 디지털청 일괄 계상분은 4803억엔
・IT 내제 추진하는 Credit Saison, 리소스 부족 타파를 위해 '시민 개발' 결단
・닛테쓰가 제강 공정에 생산 계획 시스템, '10의 300승' 선택지에서 입안
・NTT가 도전하는 광역 데이터센터 접속 구상, IOWN 활용과 도시 집중 해소
난반사
후지쓰가 하드웨어에서 완전 철수, 순수한 서비스 기업으로 변신하나?
데이터는 말한다
디지털 단말을 사용한 무인 접객, 고장과 비용 대비 효과에 과제
케이스 스터디
[이온 은행] 마이크로 서비스를 첫 채택, 개발 공정 수의 25% 삭감에 성공
CIO가 도전한다: JR동일본 이노베이션전략본부 이세 가쓰미(伊勢 勝巳) 본부장
3만 명을 디지털 인재로, 애자일로 내제화 추진
작동하지 않는 컴퓨터: [국토교통성]
센서 처리 장치의 장애로 50편 지연, 네트워크 미비가 데이터의 오유입을 초래
연재: 트러블을 통해 배우는 데이터베이스 구축법 -- OSS DB로의 이행에서 트러블, 기능 차이와 사양 차이에 대한 대처법
DX 성공의 열쇠가 되는 커뮤니케이션 기술 -- 참가자 전원의 합의를 도출, 당사자 의식을 갖게 하는 세 가지 요점
‘부족한’ 사원이 배우다 - 디지털 비즈니스 창성 기술 -- 지역 주류 판매점의 기사회생책, 지역 술 제조 체험을 디지털로 판매
사장의 의문에 답하는 IT 전문가의 대화술 -- 생성형 AI의 효과와 영향, 연초, 연말에 재고
키워드
LoRA(Low-Rank Adaptation)
오피니언 (극언 정론)
지나친 확신에 의한 실수는 막을 수 있을까? -- 하네다 공항 사고로 알게 된 AI의 쓰임새