일본산업뉴스요약

Nikkei X-TECH_2024.3.18

일론 머스크의 AI 기업, xAI
챗봇 'Grok'의 LLM을 깃허브에서 공개

일론 머스크가 이끄는 AI(인공지능) 개발 기업 ‘xAI는 3월 17일(미국 시간), 대규모언어모델(LLM) ‘Grok-1’을 공개했다. Grok-1은 소스 코드 공유 서비스 깃허브(GitHub )상에 있으며, Apache 2.0 라이선스의 오픈 소스로 이용할 수 있다.

Grok-1은 2023년 11월에 발표된 생성 AI 챗봇 'Grok'의 모델 데이터이다. Grok의 특징은 X(구 트위터)를 통해서 실시간 정보에 액세스해 최신 질문에 답할 수 있다는 것이다. 또한, 조금 재치 있게 답하도록 설계되어 있다.

Grok-1에는 3,140억의 파라미터로 이루어진 혼합 엑스퍼트(Mixture of Experts, MoE)라고 하는 아키텍처가 채택. MoE는 특정 태스크나 영역을 전문으로 하는 작은 네트워크의 집적으로, 복잡한 문제도 세분화해 문제를 해결할 수 있다. Grok-1은 2023년 10월에 학습을 마쳤으며, 대화 등 특정 애플리케이션용으로 튜닝되어 있지 않다.

xAI는 깃허브상의 Grok-1에 대해 “샘플 코드로 모델을 테스트하는 경우, 파라미터 수가 3,140억으로 많기 때문에 유저는 충분한 GPU(화상 처리 반도체) 메모리를 갖춘 머신이 필요하다”라고 언급. 하지만 구체적인 GPU 메모리 용량은 언급하지 않았다.

머스크는 올 3월 11일(미국 시간), X에서 이번 주 안에 오픈소스화 하겠다고 밝혔다. 이번 발표는 그의 선언대로 된 것이다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.