일본산업뉴스요약

Nikkei X-TECH_2024.5.3

유니콘을 잇따라 탄생시키고 있는 UC버클리
다음 테마는 'AI 멀티 클라우드'

실리콘밸리의 대학이라고 하면 스탠포드대학이 유명하지만, 샌프란시스코 만 동쪽 연안에 있는 라이벌 학교, UC버클리(캘리포니아대학 버클리)도 유력한 기술 스타트업을 잇따라 탄생시키고 있다.

스타트업을 만들어내는 '요람'이 되고 있는 곳은 UC버클리가 IT대기업과 연대해 5년간 한시적으로 운영하고 있는 컴퓨터과학의 연구소이다.

여기서는 UC버클리의 조교수이자, 기업가인 자하리아 씨를 인터뷰한 내용을 바탕으로 복수의 유니콘(기업 가치가 10억 달러 이상의 미상장 기업)을 탄생시켜온 역대 연구소들의 발자취를 되돌아 보는 것과 동시에, 현재의 연구소가 주력하고 있는 테마를 소개한다.

-- 빅데이터와 AI 연구를 견인 --
우선 2006년부터 2010년에 걸쳐 운영된 ‘RAD Lab’과 2011년부터 2016년에 걸쳐 운영된 ‘AMPLab’에서는 빅데이터 분석의 오픈소스소프트웨어(OSS)인 ‘Apache Spark’, 컨테이너 오케스트레이터의 OSS인 ‘Apache Mesos’, 분산 파일 시스템의 OSS ‘Alluxio’ 등이 개발되었다.

또한 이러한 OSS의 상용 버전을 제공하는 스타트업으로 Apache Spark의 Databricks, Apache Mesos의 Mesosphere(현재는 D2iQ), Alluxio 등이 탄생되었다.

AMPLab의 뒤를 이어 2017년부터 2021년에 걸쳐 운영된 ‘RISELab’에서도 대규모 딥 러닝(심층학습)을 실행하기 위한 플랫폼의 OSS인 ‘Ray’, Python의 데이터 분석 라이브러리 pandas를 대규모 클러스터 환경에서 실행하기 위한 OSS ‘Modin’이 탄생했다. Ray는 OpenAI가 사용하고 있는 것으로 알려져 있다.

Ray의 상용 버전을 제공하는 AnyScale, Modin의 Ponder라는 스타트업도 탄생했다. Ponder는 2023년 10월, 미국의 Snowflake에 매각되었다.

-- RISC-V 스타트업들도 탄생 --
RISELab에서는 동시에, 오픈소스의 명령 세트 아키텍처인 RISC-V를 베이스로 프로세서 코어를 개발하는 스타트업 SiFive와 컨피덴셜 컴퓨팅 서비스 제공업체인 Opaque Systems 등의 스타트업들이 탄생되었다.

지금까지 소개한 스타트업은 모두 수 억 달러 이상의 자금을 조달했으며, Databricks와 AnyScale, SiFive는 유니콘에 등극했다. RAD Lab과 AMP Lab, RISELab은 지난 15년간 빅데이터와 AI(인공지능) 열풍을 이끈 존재였다.

과거로 거슬러 올라가면 UC 버클리에서는 오늘날의 CPU 아키텍처의 주류가 된 RISC와 고가용성 스토리지를 저렴하게 실현하는 것을 가능하게 한 RAID 등의 중요 기술들이 탄생했다. 사실 3개의 연구소 모두, RISC와 RAID의 제창자인 저명한 컴퓨터 과학자 패터슨 씨가 관여했다.

Databricks의 공동 창업자이자, 지금도 UC버클리에서 조교수를 맡고 있는 자하리아 씨는 “평소 함께 일할 기회가 없는 다른 영역의 연구자들이 기간 한정의 연구소에 모여 산업계의 중요 플레이어와 연대해 AI 등 하나의 테마에 주력한 것이 뛰어난 성과를 만들어 왔다”라고 말한다. 이러한 연구 스타일은 패터슨 씨가 만들어 낸 것이라고 한다.

2022년부터는 RISELab의 뒤를 이어 'Sky Computing Lab'이 운영되고 있다. “Sky Computing Lab의 연구 테마는 멀티 클라우드이다. 구름(클라우드) 위에 있으니까 하늘(스카이)라고 이름 지었다”(자하리아 씨).

-- 어떠한 클라우드에서도 AI 워크로드를 실행할 수 있어 --
'Sky Computing Lab이 추진하고 있는 연구 프로젝트 중 하나가 'SkyPilot'이다. 모든 퍼블릭 클라우드, 모든 컴퓨터 아키텍처에서 대규모언어모델(LLM) 등의 AI 워크 로드를 자유자재로 실행할 수 있는 소프트웨어이다.

어느 퍼블릭 클라우드의 가상 머신이 가장 저렴한가? 어느 퍼블릭 클라우드라면 AI용 GPU(화상처리반도체)를 도입할 수 있는가? SkyPilot은 이러한 클라우드 상황을 감안해 최적의 작업 실행 계획 등을 수립한다.

멀티 클라우드를 진행하는 데 있어서 어떤 클라우드에 데이터를 둘지도 중요하지만, Sky Computing Lab에서는 한 클라우드의 오브젝트 스토리지에서 다른 클라우드의 오브젝트 스토리지로 빠르고 저렴하게 데이터를 전송할 수 있는 'Skyplane'이라는 툴도 개발하고 있다.

빅 데이터와 AI의 붐을 이끈UC버클리의 역대 연구소들. 그리고 그 후계자인 Sky Computing Lab이 멀티 클라우드에 주력하고 있다는 것은 다음 '붐'의 씨앗은 이 영역에 있다는 것을 시사하는 것으로, 귀추가 주목된다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.