전기전자/정보통신

Nikkei Computer_2024.4.18 포커스 (p32~36)

'소형 LLM'에 거는 일본 기업들의 승부수
NEC와 NTT 등, 국내 대형 IT 벤더들

NEC와 NTT 등, 국내 대형 IT 벤더들이 개발하고 있는 대규모언어모델(LLM) 서비스의 개요가 보이기 시작했다. 오픈AI의 'GPT'나 구글의 '바드(Bard)' 등과 비교해 국산 LLM은 파라미터 수가 작은 것이 특징이다. ‘소형 LLM’에서 찾아낼 수 있는 승산을 모색해본다.

국내 대형 IT 벤더들이 올해 드디어 대규모언어모델(Large Language Models: LLM) 서비스를 제공하기 시작했다. NTT는 3월에 츠즈미(tsuzumi)’를 발표. NEC도 올 봄 경에 ‘코토미(cotomi)’를 각각 제공할 예정이다. 소프트뱅크도 올해 안에 LLM을 개발한다고 한다.

NTT와 NEC가 제공하는 국산 LLM은 두 가지 모두 대규모언어모델이지만, 오픈AI의 ‘GPT’ 등에 비해 컴팩트하다. 사실 양 사가 이 규모를 선택한 것이야말로 각자가 찾아낸 승부수이기도 하다.

-- '대규모'이지만 '작다' --
지금까지 GPT 등 트랜스포머(Transformer) 기반의 LLM은 주로 파라미터 수를 늘림으로써 성능을 높여왔다. GPT를 예로 들면, 2018년에 발표한 ‘GPT-1’은 1억 1,700만 파라미터였다. 그 후, 파라미터 수는 2019년에 발표한 GPT-2가 15억, 또한 2020년에 발표한 GPT-3가 1,750억이다.

이에 반해 국산 LLM은 파라미터 수 관점에서 GPT 등에 비해 '소형’ LLM이라고 할 수 있다는 것이 특징이다. 구체적으로는, NEC의 코토미가 130억, NTT의 츠즈미에서는 70억과 6억 2 종류가 제공된다.

NTT와 NEC가 각각 소형 LLM을 선택한 목적 중 하나는 유저 기업의 온프레미스 환경에서의 LLM 이용이라는 새로운 수요를 개척하는 것이다. LLM 가동 전용 하드웨어와 함께 유저 기업에 제공, 유저 기업의 데이터센터 등에 설치된다. 유저 기업은 거점 네트워크에서 외부로 데이터를 유출하지 않고 LLM을 이용할 수 있다.

GPT를 사내 시스템 등에 도입해 이용하는 경우, LLM 자체는 벤더 측의 환경에 두지 않을 수 없다. 이 때문에 유저는 일반적으로 API(애플리케이션 프로그래밍 인터페이스)를 사용한다.

국산 소형 LLM의 경우, 온프레미스 환경에서 가동되는 자사 전용 모델로써 이용할 수 있어 위에서 언급한 과제를 해결할 수 있다. GPT의 경우, 마이크로소프트의 애저 환경을 이용해 적절하게 옵트아웃을 설정하지 않으면, 사내의 기밀정보가 LLM의 재학습에 이용될 수 있어 다른 유저로의 출력에 반영되어 유출되는 등의 리스크가 있다.

-- 자원 및 코스트가 적어 --
소형 LLM를 선택한 또 하나의 목적은 작은 규모를 활용해 유저 기업의 시스템에 LLM을 도입하기 위한 계산 자원이나 학습의 번거로움, 코스트 등을 억제해 도입·운용하기 쉽도록 하는 것이다. 노무라종합연구소 DX기반사업본부 IT기반기술전략실의 사기모리(鷺森) 엑스퍼트 리서처는 작은 LLM의 최대 이점을 “학습이나 추론에 소요되는 계산 자원이 적어지는 것”이라고 말한다.

파인튜닝 등 유저 기업에 있어서의 LLM 학습은 간단히 말하면 LLM의 도입·운용 시, 파라미터 설정을 데이터를 이용해 최적화하는 것이다. 이렇게 최적화한 파라미터를 사용해 입력된 데이터에 연산을 실시해서 출력하는 것이 추론이다. 파라미터 수가 적으면 학습에 의해 최적화되는 대상, 추론에 필요한 연산량이나 연산 시간이 적어지게 된다.

준비해야 할 계산 자원이 적어지면 학습 코스트도 낮출 수 있다. NTT의 추산에 따르면, GPT-3와 같은 1,750억 파라미터의 LLM에 대해 퍼블릭클라우드를 이용해 3,000억 토큰의 데이터를 학습시키는 데 드는 비용은 4억 7,000만엔 정도. 한편, 70억 파라미터의 츠즈미에 같은 양의 데이터를 학습시키는 데 드는 비용은 약 25분의 1인 1,900만엔, 6억 파라미터는 약 300분의 1인 160만엔 정도라고 한다.

또한 학습이나 추론에 필요한 계산 자원이 적으면, 유저 기업이 준비해야 하는 하드웨어 환경도 저비용으로 구축할 수 있다. NTT서비스이노베이션종합연구소/인간정보연구소의 미야자키(宮崎) 주간 연구원은 츠즈미에 대해 “70억 파라미터의 츠즈미는 1개의 GPU로 가동할 수 있다. 6억 파라미터는 CPU로도 움직일 수 있다”라고 말한다. 이러한 이점이 국산 LLM의 새로운 제공 방법 실현을 뒷받침하고 있다.

-- 두 가지 방법으로 데이터의 질 향상 --
학습 데이터의 양을 늘리면 성능이 높아진다는 법칙은 소형 LLM에도 해당된다. 그 근거는 오픈AI가 2020년 1월에 발표한 ‘스케일링 법칙(Scaling Laws)’이다.

스케일링 법칙이라고 하면 LLM의 성능을 결정하는 요소로 파라미터 수를 비교하는 경우가 대부분이다. 트랜스포머를 기반으로 한 GPT 등의 LLM은 지금까지 이 스케일링 법칙에 따라 파라미터 수를 늘려 성능을 높여 왔다. NEC와 NTT 등이 주목한 것은 파라미터 수와 마찬가지로 학습에 사용되는 데이터량을 늘려도 성능이 높아진다는 것을 스케일링 규칙이 제시하고 있다는 점이다.

그래서 양 사는 소형 LLM에서도 비즈니스에서 이용할 수 있는 성능을 실현할 수 있도록 2가지 방법으로 데이터의 질을 높였다. “한계는 있지만, 같은 양의 데이터를 LLM에 학습시켜도 (LLM의 성능 향상에 실질적으로 기여하는) 순수 데이터량이 달라질 가능성이 있다”(미야자키 주간 연구원).

데이터의 질을 높이는 첫 번째 방법이 데이터의 '클렌징'이다. 여기서 말하는 클렌징은 예를 들면 대상이 일본어 데이터인 경우, 불필요한 부분을 제거해 순수한 일본어 문장으로 만드는 작업을 가리킨다.

LLM의 학습에 사용되는 데이터는 학습에 사용이 가능한 웹 사이트를 크롤링하는 등을 통해 수집된다. 수집된 데이터가 HTML일 경우, HTML 태그나 일본어 문장으로는 부적절한 위치에서의 줄바꿈 등을 포함한다. 그렇기 때문에 크롤링한 문장을 그대로 학습에 사용하면 ‘자연스러운 일본어’를 학습했다고는 단언할 수 없다. 이 때문에 크롤링한 데이터에서 태그나 줄바꿈 등 불필요한 요소를 제거하는 작업이 필요하다.

이 외에도 학습한 데이터 내에 같은 문장이 여러 번 기재되어 있는 경우, “표현의 다양성을 유지하면서, 필요에 따라서 표현을 조정한다”(미야자키 주간 연구원). LLM은 학습 데이터에 같은 표현이 다수 포함되어 있으면 '중요한 표현'으로 인식하고 학습해 출력 정밀도에 영향을 줄 수 있기 때문이다.

-- 문장 나누기도 성능을 높이는 방법 --
데이터의 질을 높이는 또 하나의 방법이 문장 나누기이다. 일본어는 영어와 달리 단어 사이에 공간이 없어 언뜻 어디서 끊어지는지 분명하지 않다.이러한 언어를 학습할 경우, 문장을 적절한 위치에서 끊어 어디까지를 한 단어로 학습시킬지 조정하는 것도 LLM의 성능을 높이는 방법 중의 하나이다.

복수의 단어로 이루어진 복합어 등도 포함해, 학습 데이터는 가능한 균일하게 나눠 분할하면 안정된 학습으로 이어진다고 한다. 그 한 예로 '~년에 설립되었다'라는 표현이 많이 포함된 문장을 생각해보자. ‘문장 중에 발생 빈도가 높은 문자열을 기계적으로 나누어 덩어리로 만든다’라고 하는 룰에서는 ‘~년에 설립되었다’라는 문장의 덩어리가 문장 나눔의 단위가 되는 경우가 있다.

하지만 본래 ‘년’이나 ‘설립’이라는 단어마다 의미를 가진다. 이 때문에 일본어를 범용적으로 취급하는 능력을 가진 LLM을 개발할 경우, 서로 다른 의미를 가진 복수의 단어로 이루어진 문구는 의미의 최소 단위에 대응한 문장 나눔 처리를 정의하는 것이 바람직하다.

이러한 처리 방법은 NTT와 NEC 모두 형태소 분석 등에 대한 기술의 일환으로 이전부터 노하우를 축적하고 있다. LLM의 성능뿐만 아니라 처리 속도에도 영향을 주는 중요한 작업이라고 한다. 형태소 분석에 대해 NTT는 “적어도 일본어에 관해서는 당사가 가장 노하우를 많이 가지고 있다”(미야자키 주간 연구원)라며 자신감을 나타내고 있다.

-- 영역을 좁혀 실용성 확보 --
LLM의 파라미터 수가 작으면 동일하게 학습한 '대형 LLM'과 같이 범용적으로 언어를 해석하기 어렵다. 한편, 당연한 이야기이지만, 고객사의 업무에 제대로 도움이 되는, 정확한 피드백을 할 수 있는 LLM이 아니면 채택 받을 수 없다.

그래서 국산 ‘소형 LLM’은 적용 대상의 영역을 좁힌 다음, 업계나 업무 내용별로 “LLM을 커스터마이징해 제공한다”(NTT의 미야자키 주간 연구원)라는 전략을 채택했다.

예를 들면, NTT의 츠즈미는 적용 대상 중 하나로 메디컬 영역에 주목. 상용 제공 전의 2024년 2월까지의 실증에서 전자 진료기록 정보의 구조화를 통해 진료기록 정보를 활용하는 데 성공했다. 고객지원 영역에서도 콜센터의 전화 대응 후에 기록을 남기는 등, 업무 효율을 높였다.

NTT가 LLM의 커스터마이징에 사용하는 기술은 ‘어댑터(Adapter)’이다. 기반이 되는 LLM에 대해 업계나 업무 내용에 특화된 작은 모델(어댑터)을 결합시켜 출력을 조정하는 것으로, 일반적으로 LoRA(Low-Rank Adaptation)라고 불리는 기술이다. 출력을 조정할 때 기반이 되는 LLM 자체는 파라미터의 갱신이 불필요해 파인튜닝과 비교해 필요한 계산량이 적다.

NTT는 어댑터를 이용한 츠즈미의 2가지 사용 패턴 상정하고 있다. 첫 번째는 츠즈미와 어댑터를 세트로 복사하는 형태이다. 우선, 고객 A에게 어댑터를 결합시키지 않은 본연의 츠즈미를 사용하도록 한다. 이 상태로 업무에 이용할 수 있으면 그대로 사용하도록 한다. 만일 츠즈미의 출력에 고객 A가 만족하지 못할 경우, 츠즈미에 어댑터를 결합시켜 출력을 조정한다.

다른 고객 B으로부터 고객 A와 비슷한 용도로 츠즈미의 거래가 있을 경우, 본연의 츠즈미와 고객 A에게 제공한 어댑터가 결합된 츠즈미를 복사하고 필요에 따라 고객 B를 위한 어댑터를 더 추가한다.

두 번째는 1개의 츠즈미 상에서 복수의 어댑터를 제공하는 형태이다. 다양한 고객이 츠즈미에 대해 각각 다른 요청이 있더라도 여러 어댑터를 고객별로 나누어 사용하면 대응할 수 있다. 이것을 실현할 수 있게 된다면, “츠즈미를 움직이는 칩 자체는 1장의 GPU면 충분하다”(미야자키 주간 연구원)라고 한다.

NEC 역시 코토미를 커스터마이징해 고객에게 제공할 방침이다. NEC의 경우, NTT의 어댑터와 같이 코토미 상에 다른 모델을 탑재하는 것이 아니고, “예를 들면, 논문을 요약하거나, 금융 상품을 추천하는 등, 용도별로 코토미를 파생시켜 특화된 모델을 만들어 제공한다”(NEC Generative AI Hub의 세라(世良) 크리에이티브 리더)라고 한다.

코토미를 기반으로 태스크별로 LLM을 특화시키고, 더 나아가 업계나 기업의 요망에 따라 “라스트 원마일을 커스터마이징한다”(세라 크리에이티브 리더)라는 오퍼링에 가까운 제공 형태라고 말할 수 있다.

-- GPT-3.5에 필적하는 ‘중간 규모의 LLM’, 소프트뱅크 자회사가 개발 중 --
NEC와 NTT가 소형 LLM을 내놓은 한편, 소프트뱅크의 완전 자회사 SBIntuitions는 올해 안의 가동을 목표로 3,900억 파라미터의 LLM을 개발 중이다. 3,550억 파라미터인 GPT-3.5와 비슷한 ‘중간 규모’의 LLM이라고 말할 수 있다.

소형 LLM도 병행해 개발할 가능성도 있다고 한다. 하지만 SBIntuitions의 단바(丹波) 사장은 “현시점에서 어느 한쪽을 선택해 특화하지는 않을 것이다”라고 한다. 그는 “분야에 특화된 경우의 성능, 비용 대비 성능 등, 어느 쪽이 우수한지를 예단을 가지고 판단하는 단계는 아니다”라고 지적한다.

논문 발표나 해외 개발 동향을 보아도 경량 버전의 LLM과 범용을 상정한 비교적 규모가 큰 LLM은 아직 성능 경쟁에서 우열이 가려지지 않고 있다. 전문 분야에 특화해 학습시킨 경량 LLM이 범용 LLM의 성능을 상회하는 성능을 냈다는 보고가 나오고 있는 한편, 보다 규모를 확대한 범용 LLM이 전문 분야에서도 높은 성능을 달성하는 상황이 이어지고 있다.

 -- 끝 --

Copyright © 2020 [Nikkei Computer] / Nikkei Business Publications, Inc. All rights reserved.

IT가 위험하다
데이터센터 건설 좌절, 주택 근접으로 인해 '민폐 시설'로 취급
특집
오늘부터 시작하는 SBOM -- 도요타와 르네사스도, 소프트웨어 가시화를 가속화하고 있는 업계
Part1. 구미에서 높아지고 있는 도입 기운, 일본 기업도 불가피
Part2. 도입을 추진하고 있는 도요타, 공급망에서 통일된 서식
Part3. 자사의 레벨을 자가 진단, 플로우 차트
특집
- 도쿄가스, 시스템 내제의 전모 -- ‘엔지니어 제로’에서 도전
포커스
'소형 LLM'에 거는 국내 IT 대기업들의 승부수
인터뷰
- 다무라 MonotaRO 사장 -- 데이터 활용을 전단지 1장 단위로 최적화, 거래처를 포함해 SCM 개혁으로 수익 개선
뉴스 & 리포트
- 개인정보보호위원회가 LINE∙야후에 행정지도, 개인정보 52만 건 유출
- ‘아이폰 독점’ 입증에 험로, 미 법무부가 애플 제소
- 히타치가 엔비디아와 스토리지 강화, 'Hitachi iQ'로 생성 AI 학습을 빠르게
- 소니생명이 배치 처리 의뢰를 자동화, 월 1,000건 이상에서 '100%' 실현
- 국내외에서 눈에 띄는 X 계정 해킹 피해, 강제 변경된 인증 설정에 주의
- 서드 파티 쿠키 폐지, MS는 추종하지만 미국 업계 단체는 비난
- 금융용으로 생성 AI를 '확장', 일본 IBM이 5월 제공 개시
- 후지쯔가 4월 1일자로 조직 변경, 제안형 Uvance 부문을 증강
데이터는 말한다
생성 AI의 도입에 대해 2023년은 준비 기간, 2024년에 ‘일부에서 본격적으로 이용’이 60% 이상
케이스스터디
메이지(明治)홀딩스 -- 30년간의 메인 프레임 완전 철폐, 묵혀놓은 레거시를 자동변환으로 일소
CIO가 도전하다
다카하시 일본우선(日本郵船) CIO -- DX는 모든 것의 조력자, 선박 무인운항 실현
작동하지 않는 컴퓨터
[법무성] 호적 광역 교부 개시 첫날부터 오류, 시∙구∙정(町)∙촌의 현장 운용 상정에 한계
연재
- 트러블을 통해 배우는 데이터베이스 구축 방법 -- 클라우드로의 DB 전환에서 트러블, 전환된 환경의 사양 확인은 필수
- DX 성공의 열쇠가 되는 커뮤니케이션 기술 -- 누가 전달하고 누가 받는가, 신뢰관계를 구축하는 5가지 일상 행위
- 스미토모생명보험의 디지털 인재 육성 학원 -- DX 성공에 필수적인 5가지 요소
- 사장의 의문에 답하는 IT전문가의 대화 기술 -- 우버이츠에 공격적인 새로운 기능 도입, 기술로 안전과 신뢰를 담보
키워드
OSINT（Open Source Intelligence）
오피니언
- 극언정론 -- '기간계 쇄신은 IT부문의 사정', 이용 부문이 외면하는 이유는
- 모바일 일도양단(一刀兩斷) -- 휴대전화 대기업의 데이터 접속료 첫 인상, 저가 SIM 사업자에 미치는 영향은?
- GAFA 심층 분석 -- 오픈AI의 경쟁사 창업자가 추천, AI 환각 대책의 비장의 카드 'Rerank'
- 프로그래밍으로 가자 -- AI가 사장이 될 수 있을까? 중소기업 사장의 희망을 실현
- '오늘도 누군가를 노린다' -- 아스키아트로 폭탄 만드는 기술을 전수, 생성 AI를 악용하는 'ArtPrompt'

-- 끝 --