전기전자/정보통신

Nikkei Electronics_2023.9 Hot News (p12~15)

AMD, 생성 AI용 초고성능 GPPU 개발
엔비디아를 추격, 메모리 대역 폭을 늘려 개발 환경 정비

미국 AMD(Advanced Micro Devices)의 수(蘇) 사장 겸 CEO는 데이터센터와 AI(인공지능)에 초점을 맞춘 프라이빗 이벤트 ‘Data Center and AI Technology Premiere’(6월 13일, 미국에서 개최)의 기조 강연에서 GPPU(General Purpose Graphics Processing Unit) ‘Instinct’의 신제품 ‘AMD Instinct MI300X’(이하, MI300X)를 발표했다. “MI300X는 생성 AI용으로 개발했다”(수 CEO)라고 한다.

이번 이벤트에서 AMD는 서버용 마이크로프로세서(MPU) ‘EPYC’의 신제품도 발표. 경쟁 제품으로 인텔의 ‘Xeon Scalable Processor(SP)’를 꼽았다. 하지만 이번 GPPU의 경쟁품은 인텔의 GPPU ‘Intel Data Center GPU Max 시리즈’(개발 코드명: Sapphire Rapids HBM)가 아니라, 생성 AI용 GPU로 주목 받고 있는 엔비디아(NVIDIA)의 ‘NVIDIA H100 GPU’(이하 H100)이다.

수 CEO에 따르면 MI300X는 탑재된 3차원 구현 DRAM(동적 램) ‘HBM(High Bandwidth Memory)3’의 메모리 용량이 H100의 2.4배인 192G바이트로 크고, 메모리 대역 폭은 H100의 1.6배인 5.2T바이트/초로 넓다. 이 때문에 “H100에 비해 적은 개수로 생성 AI용 대규모 언어 모델을 처리할 수 있다”(수 CEO).

예를 들면, 400억 파라미터의 언어 모델 ‘Falcon 40B’를 1개의 MI300X로 처리할 수 있다고 한다. 이번 이벤트에서는 MI300X 기반 생성 AI로 샌프란시스코에 대한 시를 짓는 퍼포먼스를 선보였다. “FP16 정밀도로 추론하면, 800억 파라미터의 언어 모델을 1개의 MI300X로 처리가 가능하다”(수 CEO)라고 한다.

-- CUDA 대항 버전 준비 --
데이터센터에서 H100이 AI 처리나 HPC(High Performance Computing)에 많이 이용되고 있는 배경에는 하드웨어(GPU IC)뿐만 아니라, CUDA(Compute Unified Device Architecture)라고 부르는 소프트웨어 개발 플랫폼을 정비·제공하고 있기 때문이다.

이 CUDA의 대항 버전으로 AMD는 ‘ROCm’을 제공하고 있다. 이번 기조강연에서는 AMD가 인수한 미국 Xilinks의 전직 CEO이자 현재 AMD의 대표인 펑 씨가 ROCm에 대해 설명했다.

그에 따르면, ROCm은 특히 AI를 의식해 정비한 Instinct용 소프트웨어 스택이며, 다양한 라이브러리나 컴파일러, 런타임 툴 등으로 구성되어 있다. 또한 각종 뉴럴 네트워크 모델이나 개발용 프레임워크를 지원한다.

이번 기조 강연에는 ROCm이 지원하는 개발용 프레임워크 중 하나인 ‘PyTorch’ 개발에 참여한 미국 Meta Platforms의 친타라 리서치 엔지니어가 참여. 친타라 엔지니어에 따르면, ROCm을 이용하면 엔비디아의 GPU나 구글의 TPU(Tensor Processing Unit) 등을 위해 개발된 AI 처리 소프트웨어를 다소의 조정은 필요하지만, 매끄럽게 MI300X 등의 Instinct GPPU에 이식할 수 있다고 한다.

엔비디아의 H100은 이미 양산 출하되어 생성 AI용으로 이용되고 있다. MI300X는 올 3분기에 샘플 출하를, 4분기에 양산 출하를 시작할 예정이다.

-- TSMC의 이종 집적을 활용 --
이번에 발표된 MI300X는 Instinct MI300 시리즈 제2탄 제품에 해당한다. 제1탄인 ‘Instinct MI300A’(이하, MI300A)는 올 1월 4일(미국 시간)에 CES 2023의 기조 강연에서 수 CEO가 소개했다. 현재 MI300A는 샘플 출하 중이며, 올4분기에 양산을 개시할 예정이다.

MI300 시리즈는 AMD의 HPC/AI용 GPU 아키텍처 ‘CDNA-3’를 채택하고 있다. 이 시리즈는 복수의 칩렛을 한 패키지에 담은 이른바 이종 집적(Heterogeneous Integration) 구조를 채택하고 있다.

즉, ‘인피니티 패브릭(Infinity Fabric) 베이스 다이’에 MPU칩렛, GPU칩렛, HBM칩렛을 적층해 칩렛 간을 접속한다. 적층에는 대만 TSMC(臺灣積體電路製造)의 3차원 구현 기술 ‘SoIC-X’를 사용한다. 'SoIC-X'는 솔더 범프 없이 칩렛의 구리 피어 간을 연결하는 기술로, 솔더범프를 사용하는 'SoIC-P'에 비해 접속 밀도가 높다.

MI300A는 MPU칩렛 3개, GPU칩렛 6개, 더 나아가 총 128GB의 HBM3형 DRAM을 인피니티 패브릭 베이스 다이로 접속해 1패키지에 담았다. MPU칩렛은 ‘Zen 4코어’ 베이스로 ‘제4세대 AMD EPYC 프로세서(AMD EPYC 9004 시리즈)’와 기본적으로 동일한 것으로 보인다. MI300A에서 MPU칩렛을 제거하고, 그 공간에 GPU칩렛을 2개 두고, HBM3형 DRAM 용량을 총 192 G바이트로 늘린 것이 MI300X이다.

MI300X는 이전 세대의 GPPU 제품 ‘Instinct MI250/250x’와 동일하게 폼 팩터가 OAM(OCP Accelerator Module)의 모듈로 제공된다. 이번 이벤트에서는 MI300X를 8개 조합한 ‘AMD Instinct Platform’도 발표되었다. “Instinct Platform은 업계 표준의 폼 팩터로, 데이터센터에서 일반적으로 사용되고 있는 랙에 수용될 수 있다”(수 CEO)라고 한다.

엔비디아는 MPU와 GPU를 1패키지에 담은 제품으로 'GH200 Grace Hopper Superchip'을 양산 출하 중이다. ‘Am Neoverse’ 코어 베이스의 MPU ‘Grace’와 H100, HBM3형 DRAM을 한 패키지에 담았다. Hopper는 H100에 채택된 GPU 아키텍처의 명칭이다.

인텔도 데이터센터용으로 서버용 MPU와 GPPU를 한 패키지에 담는 제품(개발코드명: Falcon Shores)을 개발 중이지만, 출하 개시는 빨라야 2024년이 될 것으로 전망된다.

 -- 끝 --

Copyright © 2020 [Nikkei Electronics] / Nikkei Business Publications, Inc. All rights reserved.