- 일경컴퓨터_2021/08/05_구글-엔비디아 격돌, 'AI 슈퍼컴퓨터'日経コンピュータ
-
- 저자 : 日経BP社
- 발행일 : 20210805
- 페이지수/크기 : 138page/28cm
요약
Nikkei Computer_2021.8.5 (p137)
구글-엔비디아 격돌, 'AI 슈퍼컴퓨터'
세계 최고 속도는 어느 쪽?
인공지능(AI)용 슈퍼컴퓨터 순위가 6월에 발표되었다. 이화학연구소의 후가쿠(富岳)가 3연패를 달성한 ‘TOP500’의 이야기가 아니다. 기계학습 벤치마크 ‘MLPerf’의 랭킹이다. 구글과 엔비디아는 각각 MLPerf에서 가장 우수한 성적을 거두었다고 주장하고 있다.
MLPerf는 비영리단체(NPO)인 미국 ML커먼즈(2020년 12월에 MLPerf 컨소시엄에서 개칭)가 책정하는 기계학습의 벤치마크이다. 기계학습의 성능을 트레이닝과 추론으로 나누어 각각 계측할 수 있도록 복수의 벤치마크를 마련하고 있다. 매년 여름에는 트레이닝 결과가, 가을에는 추론 결과가 공표된다.
올해는 6월 30일에 트레이닝 벤치마크 ‘v1.0’의 결과가 공표되었다. 벤치마크 v1.0은 8종류의 태스크를 실행해 각각의 트레이닝에 소요된 시간을 계측하는 것이다. 8종류의 태스크란 화상 분류 모델인 'ResNet', 의료용 영상 분할(Image Segmentation) 모델인 '3D U-Net', 경량 물체 검출 모델인 'SSD', 중량 물체 검출 모델인 'Mask R-CNN', 음성인식 모델인 'RNN-T', 언어 모델인 'BERT', 레코멘데이션 모델인 'DLRM', 강화학습 모델인 'Minigo의 트레이닝이다.
구글은 7월 1일에 공개한 블로그에서 자사의 기계학습 전용 프로세서인 TPU v4를 탑재한 클러스터를 이용한 결과가 6종류의 태스크 중 4종류에서 엔비디아 탑재기의 결과를 상회, 2종류의 태스크에서 하회했다고 주장했다.
한편 엔비디아는 6월 30일에 공개한 블로그에서 8종류의 태스크 결과물을 모두 기록한 것은 자사의 기계학습용 GPU, ‘A100’을 탑재한 클러스터뿐이었다고 주장했다. 사실 구글은 8종류의 태스크 중 음성인식 모델인 RNN-T와 강화학습 모델인 Minigo에 대한 결과를 기록하지 않았다. 그렇기 때문에 8종류 태스크의 승패로 따지면 구글의 4승과 엔비디아의 4승(그 중 2승은 구글의 부전패)으로 비겼다고 할 수 있다.
-- BERT 트레이닝이 17초 --
MLPerf의 장점은 AI 슈퍼컴퓨터의 성능이 AI 실무자에게 익숙한 기계학습 모델의 트레이닝 시간이라는 지표로 제시된다는 점이다.
예를 들면, 이번 MLPerf의 벤치마크 결과에서는 구글의 TPU v4를 3,456개, AMD의 프로세서를 1,728개 탑재한 클러스터는 영상 분류 모델인 ResNet의 트레이닝을 0.23분(약 14초)에 완료했다. ResNet는 2015년에 마이크로소프트가 공개한 것으로, 당시 마이크로소프트는 ResNet을 트레이닝 하는데 29시간이 소요됐다. 이것이 불과 14초 만에 완료된 것이다.
BERT는 2018년 10월, 구글이 발표했을 때, 뉴럴 네트워크(Neural Network)의 파라미터 수가 3억 4,500만개나 되는 '거대 언어모델'로 화제가 되었다. 하지만 이 BERT의 트레이닝도 TPU v4를 3,456개 탑재한 클러스터라면 0.29분(약 17초)만에 완료할 수 있다.
BERT의 등장 이후 언어모델의 거대화는 가속화되고 있다. 미국의 오픈AI가 2020년 6월 공개한 사람이 작성한 듯한 가짜 뉴스 생성으로 화제가 된 'GPT-3'의 파라미터 수는 1,750억 개로 BERT의 500배 이상이다.
MLPerf는 매년 벤치마크에 사용되는 기계학습 모델을 최신 모델로 대체하고 있다. 가까운 미래에는 벤치마크에 사용되는 언어모델도 BERT보다 규모가 큰 GPT-3 등으로 대체될 것이다. 2020년 시점에서는 GPT-3의 학습에 수 일~수 주가 소요되었다. 이것이 앞으로 얼마나 짧아질 것인지, 향후 MLPerf의 결과가 기대된다.
-- 끝 --
Copyright © 2020 [Nikkei Computer] / Nikkei Business Publications, Inc. All rights reserved.
목차