일본산업뉴스요약

Nikkei X-TECH_2023.12.25

퀄컴 계열사, 엣지 디바이스 구현 LLM 발표
로봇을 자연어로 조작이 가능

IoT(Internet of Things)용 임베디드 모듈을 제조하는 미국 썬더컴(Thundercomm)은 11월 24일, IoT용 대규모 언어 모델(LLM) ‘ThunderSoft Rubik LLM’을 발표했다. LLM을 데이터센터와 같은 클라우드 측에서 처리하지 않고 엣지 측의 장치만으로 처리가 가능. 보안 강화와 통신 지연 해소 등으로 이어진다. 로봇에 구현할 경우, 자연어에 의한 명령을 실행 처리할 수 있다.

썬더컴은 중국의 썬더소프트(ThunderSoft)와 미국 퀄컴(Qualcomm)의 합작회사이다. 퀄컴의 SoC(System on a Chip)인 ‘Snapdragon’ 시리즈를 탑재한 임베디드 모듈을 중심으로 개발하고 있다.

“예를 들어 Snapdragon을 자사 제품으로 사용하고 싶을 경우, 수백 개 정도의 소량 발주는 어렵다. 그래서 썬더컴은 임베디드 모듈을 제공해 그러한 (소규모 생산의) 고객에게도 대응할 수 있도록 하고 있다”라고 썬더컴 영업부의 사토(佐藤)  시니어 세일즈 매니저는 설명한다.

ThunderSoft Rubik LLM은 Snapdragon을 탑재한 썬더컴의 프린트 기판에 ‘TurboX C8550 Development Kit’로 구현하는 것을 상정해 개발했다. LLM을 엣지 측에서 처리함으로써 통신에 소요되는 지연을 줄이거나, 데이터센터 등 외부로 정보를 보내지 않아 보안을 강화할 수 있다.

“약 100억 파라미터 규모의 LLM은 지금까지 엣지 디바이스에 구현하기 어려웠다. (데이터를 압축하는) 양자화를 통해 실현할 수 있었다”라고 썬더소프트 재팬 대표이사 겸 썬더컴 재팬 대표이사인 이마이(今井) 사장은 말한다.

썬더컴은 ThunderSoft Rubik LLM을 스마트 스피커나 보안 카메라, 산업용 기기 등으로 구현하는 것을 상정하고 있다. 또한 엣지 디바이스 전용 모델과 함께 클라우드 측에서의 처리용 모델도 마련했다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.