니케이 네트워크 2026/03 GPU는 역시 생성 AI에 적합하지 않은 것일까?
Nikkei Network
요약
Nikkei Network_2026.03호
GPU는 역시 생성 AI에 적합하지 않은 것일까?
NVIDIA의 Groq 인수에 주목해야
이전 칼럼에서 필자는 NVIDIA의 GPU(Graphics Processing Unit, 그래픽 처리 장치)의 발열이 문제가 될 수 있다고 지적했다. 이때 현행의 GPU가 생성 AI(Artificial Intelligence, 인공지능)에 있어 최적의 처리 아키텍처가 아닐 수 있다는 생각이 들었다.
-- 극저온의 액체 냉각 필요 없어 --
어느 정도의 지식을 가진 사람들은 이미 이 정도 수준의 문제 의식은 가지고 있을 것이다. 올해 초에 NVIDIA는 세계 최대 기술 박람회인 ‘CES 2026’에서 차세대 GPU 아키텍처 ‘Rubin’의 양산 개시를 발표했다. 이 자리에서 NVIDIA의 젠슨 황 CEO는 Rubin을 핵심으로 한 시스템 아키텍처(‘Rubin Platform’이라고 부름)의 냉각 메커니즘은 “온수 냉각만으로 충분하다”라고 말했다. 현행의 Blackwell 세대 GPU가 사용된 최신 대규모 AI 데이터센터에서는 극저온 액체를 사용한 냉각이 필요하다고 알려져 있다.
Rubin Platform의 냉각 메커니즘을 실현한 배경에는 서버 랙 단위로 액체 냉각을 하는 설계와 직류 급전 등의 기술들이 포함되어 있다. 이러한 기술들을 통해 추론당 소비되는 전력을 1/8 수준으로 낮췄다고 한다.
-- AI 처리 기능을 GPU에 탑재 --
여기까지만 보면 GPU 자체에 문제가 없다고 생각할 수 있지만, 사실 GPU로서 기능하는 Rubin은 아키텍처를 업데이트한다. 예를 들어, 생성 AI용 라이브러리인 ‘Transformer Engine’의 3세대용으로 하드웨어를 통해 동적으로 정밀도를 조정하고 연산 처리를 압축·실시하는 메커니즘을 추가했다. NVIDIA의 GPU에 2017년에 추가된 ‘Tensor Cores’라고 불리는 행렬 연산 전용 처리 메커니즘을 강화한 것으로, ‘단순한 GPU 아키텍처’에서 탈피하기 시작하고 있다.
GPU 아키텍처와 관련해서는 추론에 특화된 AI 반도체를 개발해 온 미국의 Groq를 NVIDIA가 사실상 인수한 점도 주목할 만하다.
사실상이라고 말한 것은 회사 자체를 산 것이 아니기 때문이다. 양 사는 독점적인 기술 라이선스 계약을 체결했다. 또한 Google에서 1세대 TPU(Tensor Processing Unit) 개발에 참여한 뒤 Groq를 설립한 로스 CEO와 마드라 사장 등 주요 멤버들이 NVIDIA에 합류한다. 즉, NVIDIA는 Groq의 기술과 인재를 산 것이다.
Groq의 AI 반도체 이름은 ‘LPU(Language Processing Unit)’로, 추론에 사용되는 데이터를 SRAM(Static Random Access Memory)에 저장한다. 연산기로의 처리 분배와 연산기 간 통신 등을 컴파일 시에 미리 결정하는 ‘정적 스케줄링’을 채택하고 있다.
생성 AI의 활용은 학습보다 추론이 빈도가 높다. 앞으로 추론에 대한 수요가 더욱 높아질 것으로 예상되는 가운데, NVIDIA가 GPU와는 전혀 다른 아키텍처에 손을 댔다는 점은 흥미롭다. 여기에서 드러나는 것은 대규모 AI 데이터센터를 생성 AI의 학습에 활용하고, 추론은 더 작은 규모의 데이터센터나 기업 내 시스템 등이 담당하도록 하겠다는 자세이다. 전자에서는 지금까지와 마찬가지로 GPU가 사용되고, 후자에서는 Groq와 같은 새로운 아키텍처가 사용될 것으로 보인다. NVIDIA의 이번 인수는 이러한 역할 분담을 상정한 것으로, 향후의 AI를 가늠할 상징적인 이벤트가 될 가능성이 있다.
-- 끝 --
Copyright © 2026 [Nikkei Network] / Nikkei Business Publications, Inc. All rights reserved.
목차
Nikkei Network_2026.03호
특집 1
PowerPoint로 도전
‘업무 효율성이 높은’ 네트워크 구성도 그리기 입문
Part 1 도입
‘구조를 알 수 있는 구성도’를 그릴 수 있는 수준으로, 우선 종류와 툴을 확인
Part 2 절차
‘기본 6단계,’ 누구에게 무엇을 전달할 구성도인지를 먼저 정해야
Part 3 논리 구성도에 도전
요건에서 필요한 기능을 리스트업, 세그먼트는 ‘세로 정렬’을 추천
Part 4 물리 구성도에 도전
절차는 같지만 외관은 일변, 기기 간을 선으로 연결하는 작업에서 고전
뉴스로 이해
NEWS close-up 1
미노공업이 밝히는 피해 경위
NEWS close-up 2
P2P의 권리 침해 실태 드러나
NEWS close-up 3
‘Hacklore’ 공개
piyokango의 월간 시스템 트러블
NTT동일본의 프로그램 오류, 학생들의 정보가 다른 학교에 잘못 등록
월간 랜섬 리포트
2025년 12월의 세계 랜섬웨어 피해 800건 이상, 활동을 재개한 ‘LockBit’의 피해 급증
현장을 알다
당사자가 말하는 문제에서의 탈출
너무 느린 파일 서버, 구성 변경으로 홉 수 증가
엔지니어의 옆얼굴
자택 네트워크에서 실천적 IT 스킬 향상, 타인의 구성도를 통해 구성과 설계를 배운다
홋카이도 아사히카와시 행재정개혁추진부 정보정책과의 다케다 주사
인터넷은 왜 연결되는가
TCP/IP의 4계층을 이해
멀웨어 철저 분석
macOS를 노리는 멀웨어
특집 2
비용 절감과 자동화에 얼마나 효과가 있나?
화이트박스 스위치와 네트워크 OS의 현주소
특별 리포트
랜섬웨어에 결코 지지 않는다
지금 바로 해야 할 ‘긴급 점검 10개 항목’
네트워크스페셜리스트 시험을 통해 배우는 네트워크 기술의 기본
전자 인증서
기초부터 배운다
전문가에게 묻는 초보자의 질문
랜섬 피해 복구에 왜 시간이 걸릴까?
그림으로 보고 알 수 있는 네트워크 필수 키워드
네트워크 이중화
기술의 온고지신
GPU는 역시 생성 AI에 적합하지 않았던 것일까?
스퀘어
-- 끝 --
Copyright © 2026 [Nikkei Network] / Nikkei Business Publications, Inc. All rights reserved.