일본산업뉴스요약

Nikkei X-TECH_2024.2.21

프리퍼드네트웍스, 기반모델의 산업 이용 촉진 추진
‘특화형’으로 용도에 최적화

AI(인공지능) 기술을 개발하는 스타트업 프리퍼드네트웍스(Preferred Networks, PFN, 도쿄)는 기반모델 관련 프로젝트를 가속화할 방침이다. 우선 파라미터 수가 1,000억인 멀티모달 기반모델을 개발. 또한 파라미터 수가 1조의 대규모언어모델(LLM)의 사전학습에 대해서도 검증을 시작한다.

신에너지산업기술종합개발기구(NEDO)가 공모한 프로젝트 ‘포스트 5G 정보통신시스템 기반 강화 연구개발 사업’의 연구개발 항목 ‘포스트 5G 정보통신 시스템 개발’에 PFN의 자회사인 프리퍼드엘레먼츠(Preferred Elements, PFE)가 신청. 개발 테마인 ‘(g3) 경쟁력 있는 생성 AI 기반 모델 개발’을 실시할 예정인 기업 중 하나로 선정되었다. 기간은 2024년 2월 15일~8월 15일이다.

-- 1조 파라미터 LLM 개발에 도전 --
1,000억 파라미터의 멀티모달 기반모델 개발을 위해 화상모달용 사전학습과 추가학습, 음성모달용 추가학습 등을 실시. 또한, 세계적으로도 대규모인 1조 파라미터의 LLM 사전학습 검증도 실시한다.

기반모델 개발에 있어서는 경제산업성 및 NEDO의 프로젝트 'GENIAC(Generative AI Accelerator Challenge)'를 통해 계산 자원 제공 지원을 받는다. 이 프로젝트는 국내 생성 AI 개발력을 강화하기 위한 목적으로 출범했다.

이번 조성 사업을 통해 얻은 성과는 안전성 등을 검증한 뒤 1,000억 파라미터 기반모델의 웨이트(무게)와 파인튜닝용 소스코드 등을 GENIAC 기반모델 개발 사업자 커뮤니티와 강연 등을 통해 공개할 예정이다.

이미 복수의 기업 및 행정기관과 2024년 중의 이용 개시를 위한 논의를 시작했다고 한다. 또한 1조 파라미터의 모델에 관해서도 학습 과제 및 그 해결법도 공개해나갈 예정이다.

-- 산업용으로 차별화 노려 --
PFN은 일본어와 영어에서 높은 언어처리 성능을 갖춘 130억 파라미터의 독자적 LLM ‘PLaMo(Preferred Language Model)-13B’를 개발, 2023년 9월에 공개했다. 그 후, LLM과 멀티모달 기반모델 개발에 주력하기 위해 자회사 PFE를 2023년 11월에 설립. PFE의 대표이사에는 PFN의 최고연구책임자인 오카노하라(岡野原) 씨가 취임했다.

2023년 가을의 인터뷰에서 오카노하라 대표는 멀티모달 기반모델로서 텍스트뿐만 아니라, 화상이나 동영상, 음성, 3차원(3D) 공간 등 다양한 입력을 처리할 수 있는 것을 개발할 방침을 밝혔다.

또한 로봇이나 공장의 센서 데이터, 분자구조, 게놈 등 개별 처리가 우수한 싱글모달의 기반모델(특화형 기반모델)과 멀티모달 기반모델을 조합하는 구상도 그리고 있다. 이를 통해 폭넓은 산업에서 멀티모달 기반을 활용할 수 있도록 한다는 전략이다.

우선은 산업 분야용으로 차별화한 멀티모달 기반모델을 출시할 방침이다. 산업 분야는 PFN 그룹 사업의 기둥이며, 이미 데이터 및 노하우도 가지고 있다는 것이 우위로 작용할 것으로 보고 있다.

PFN는 이미 다양한 분야에서 기반모델의 활용을 시험적으로 시작했다. 예를 들면, 신물질 개발과 재료탐색을 고속화하는 시뮬레이터 ‘Matlantis’에 있어서 기반모델에 탐색작업을 지시하는 문장을 입력하는 것만으로 Matlantis를 이용하는데 필요한 코드를 자동 생성할 수 있도록 했다.

드론으로 촬영한 영상을 통해 3D 모델을 작성할 때에도 기반모델을 활용하고 있다. 이 밖에 모호한 언어에 의한 음성 지시로도 기반모델에 따라서는 가정용 로봇 ‘카차카’를 움직일 수 있도록 했다.

<키워드>
멀티모달 기반모델: 텍스트뿐만 아니라, 화상이나 동영상, 음성, 3차원(3D) 공간 정보 등 복수의 모달리티의 대규모 데이터를 학습시킨 AI 모델로, 이러한 복수의 정보를 처리할 수 있다. 멀티모달 기반모델은 컴퓨터가 현실세계를 이해하기 위한 공통지식이 되는 ‘상식’을 갖추고 있다고 알려져 있다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.