일본산업뉴스요약

Nikkei X-TECH_2024.3.21

복수의 LLM을 자동으로 융합해 새로운 LLM을 개발
Sakana AI가 세계 최초로

AI(인공지능) 관련 스타트업인 사카나 AI는 3월 21일, “세계 최초”(사카나AI)인 대규모언어모델(LLM)을 자동으로 개발하는 기술을 발표했다. 기존의 복수의 LLM을 융합(머지)해 새로운 LLM을 개발하는 것으로, LLM 개발을 단기간 및 저비용으로 추진할 가능성이 있다.

사카나 AI는 이 새로운 방법을 사용해 '일본어 LLM'과 '수학에 특화된 영어 LLM'을 융합함으로써 '일본어로 수학 문제를 풀 수 있는 LLM'을 개발했다. 일반 LLM 개발과 달리, 대량의 데이터를 사용한 트레이닝(훈련)을 실시하지 않기 때문에 개발에 필요한 계산 리소스는 “(기존의 LLM 개발과 비교하면) 무시해도 되는 레벨이다. 개발도 1일 이내에 완료했다”(사카나 AI의 소노다(園田) 씨)라고 한다. 사카나AI에는 NTT그룹과 KDDI, 소니그룹 등이 출자하고 있다.

사카나 AI가 이번에 발표한 기술은 ‘진화적 모델 머지’라고 부르는 것으로, 모델 머지와 진화적 알고리즘을 조합해 실현했다. 모델 머지란 ‘부모’가 되는 복수의 LLM을 조합해 새로운 ‘자식’이 되는 LLM을 만들어내는 방법이다. 기존에는 엔지니어가 경험 등을 바탕으로 LLM을 융합했지만, 한 번 만에 LLM을 융합해 뛰어난 성능을 가진 LLM을 만들어낼 수 있다고는 할 수 없었다.

-- 우수한 '자식' 모델로부터 '손자' 모델을 융합 --
이번 사카나 AI의 새로운 방법에서는 우선 모델 머지로 복수의 자식이 되는 LLM을 만들어낸다. “부모 LLM의 일부를 조합해 만들어내기 때문에 각각의 자식이 동일한 LLM이 되는 것은 아니다”(사카나AI). 그리고 LLM의 성능을 기계적으로 평가해 우수한 LLM을 선택한 다음, 다시 융합해 ‘손자’가 되는 LLM을 만든다.

이러한 LLM의 융합을 몇 세대 반복함으로써 사람 엔지니어가 거의 개입하지 않고도 고성능 LLM을 만들어낼 수 있다고 한다. 사카나AI는 LLM을 경쟁시키는 점을 ‘진화적’이라고 말한다. LLM의 파라미터는 방대하기 때문에 “어떤 파라미터를 조합해야 하는지 등에 대해 사람이 개입하는 것에는 한계가 있었다”(소노다 씨)라고 한다.

진화적 모델 머지로 만들어낸 LLM 중 하나가 앞서 언급한 일본어로 수학 문제를 풀 수 있는 LLM이다. 사카나 AI에 따르면, “수학에 특화된 영어 LLM은 있지만, 수학에 특화된 일본어 LLM은 없었다”라고 한다.

이 LLM에 '올해 입춘은 2월 3일입니다. 절분 날짜의 월과 일을 합치면 몇입니까?”라고 질문하면, “절분은 입춘의 전날입니다. 올해 입춘은 2월 3일, 그래서 절분은 2월 2일입니다. 날짜를 더하면, 2+2=4가 됩니다”라고 답한다. 일본 문화의 입춘과 절분을 이해해야 계산을 실행할 수 있다.

사카이 AI는 이 밖에도, 영어의 화상언어모델(VLM)과 일본어의 LLM을 융합해 일본어 VLM을 개발했다고 한다. 향후, 진화적 모델 머지와 같은 어프로치를 기존의 오픈소스 LLM에 적용해 대규모 LLM 개발에 비해 코스트 등을 억제하면서 새로운 LLM을 만들어낼 가능성이 있다고 한다.

 -- 끝--

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.