일본산업뉴스요약

Nikkei X-TECH_2024.9.24

이것이 일본의 AI 데이터센터이다
GPU 서버를 가동할 수 있는 18개 사, 32개 시설 Part 1.

생성 AI(인공 지능)에 빠질 수 없는 고성능 GPU(화상 처리 반도체)를 탑재한 서버를 대량으로 운용할 수 있는 ‘AI 데이터 센터’는 일본에 얼마나 존재할까? 닛케이크로스테크가 국내 49개 데이터센터 사업자를 대상으로 조사한 결과, 계획 중인 18개 사를 포함해 32개 시설이 있다는 사실을 알 수 있었다.

이번 조사에서 닛케이크로스테크가 데이터센터 사업자를 대상으로 질문한 것은 대규모 언어 모델(LLM)의 트레이닝(훈련)이나 추론에 사용되는 고성능 GPU 서버를 가동할 수 있는 시설과 그 상세한 내용이다. 현재 국내에는 18개 업체가 운영하는 26개 시설이 있으며, 앞으로 6개 시설이 더 늘어날 예정이라고 한다.

-- 소비전력 10kW 이상의 GPU 서버를 1랙으로 여러 대 가동 --
LLM의 트레이닝에는 엔비디아(NVIDIA)의 AI용 GPU인 ‘H100’이나 ‘H200’이 8개 탑재된 고성능 GPU 서버가 적합하다고 여겨지고 있다. 엔비디아가 H100이 8개 탑재된 GPU 서버 ‘NVIDIA DGX H100’ 등을 제품화하고 있는 것 외에도, 미국의 Dell Technologies와 Hewlett Packard Enterprise(HPE) 등의 대형 서버 제조사들이 H100이나 H200이 8개 탑재된 고성능 GPU 서버를 판매하고 있다.

이러한 고성능 GPU 서버의 문제점은 1대의 서버가 10킬로와트(kW)가 넘는 전력을 소비한다는 것이다. 또한 LLM의 트레이닝에는 여러 대의 GPU 서버가 필요하다.

즉, AI 데이터센터에는 소비전력이 10kW가 넘는 GPU 서버를 하나의 서버 랙으로 여러 대 가동하고, 그것을 충분히 냉각할 수 있는 능력이 요구된다. 이번 회에서는 그러한 능력을 갖추었다고 데이터센터 사업자들이 직접 추천한 시설들을 소개한다.

1 랙 당 최대 소비전력과 바닥 하중, 서버 액체 냉각 방식에 대한 대응 상황 등도 이번 조사 대상에 포함했다. 이러한 AI 데이터센터에 필요한 스펙의 의미에 대해서는 본 특집2회와3회에서 설명하겠다.

엔비디아는 자사의 GPU 서버 가동이 가능한 데이터센터의 스펙을 규정해 '엔비디아 DGX-Ready Data Center'로 인정하고 있다. 이번에 데이터센터 사업자들이 추천한 시설에는 이 인증을 받지 않은 것도 포함되어 있었다.

먼저, AI 데이터센터에 대한 데이터센터 사업자의 구체적인 대응 및 계획을 살펴보자.

-- 일본 대표적인 AI 데이터센터 '도쿄후추(東京府中)' --
일본 AI 데이터센터의 대표격으로 꼽히는 곳이 IDC 프론티어의 '도쿄후추 데이터센터'이다. 미츠이물산(三井物産)의 자회사인 제우레카(Xeureka)가 제약 회사용으로 구축한 AI 슈퍼컴퓨터 ‘Tokyo-1’이 가동되고 있는 시설로 알려져 있다.

도쿄후추데이터센터의 특징은 액냉 방식 중 하나인 ‘리어 도어 방식’을 채택한 서버의 하우징 서비스를 2022년 3월부터 제공하고 있다는 것이다. 이 방식은 랙의 후면 도어에 내장된 열교환기에 냉수를 보내 서버로부터 배출된 열을 냉각하는 방식이다.

도쿄후추 데이터센터는 리어 도어 방식의 액냉을 채택함으로써 1랙 당 20kVA의 전력 소비에 대응할 수 있다. H100이나 H200이 8개 탑재된 소비전력 10 kW 이상의 GPU 서버도 1 랙 당 2대 운용할 수 있다.

 -- 끝 --

Copyright © 2024 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.