전기전자/정보통신

Nikkei Computer_2022.5.12 (p96)

구글 ‘패스웨이즈(Pathways)’의 놀라운 위력
만능 AI가 지향하는 궁극적 모델

구글이 수 년에 걸쳐 개발을 추진해온 만능 AI(인공지능) '패스웨이즈'의 실력이 드디어 공개되었다. 패스웨이즈는 1개의 기계학습 모델이 최대 수백만 종류의 태스크에 대응할 수 있는 '만능' 또는 '범용' AI이다. 기존의 AI는 1개의 모델이 1종류의 태스크 전용임에도 불구하고, 범용인 패스웨이즈의 태스크 처리 성능은 기존의 AI보다 앞선다. 놀라운 위력이다.

구글은 4월 4일(미국 시간), 자연어 처리에 관한 여러 종류의 태스크를 처리할 수 있는 'Pathways Language Model(PaLM)'을 발표했다. 자연언어를 통한 질문 응답과 문장 생성 등을 할 수 있는 언어모델로 불리는 AI를 패스웨이즈로 구현했다. 언어모델은 최근 BERT와 GPT-3 등이 성과를 거두면서 주목 받고 있다.

1모델 1태스크 전용인 기존의 언어모델로 다른 태스크를 처리하기 위해서는 그것에 맞게 기계학습 모델을 다시 트레이닝(훈련)시켜야 할 필요가 있었다. 반면 PaLM은 하나의 기계학습 모델로 질문 응답이나 문서 생성, 다단계의 논리적인 사고, 번역, 소스 코드의 생성〮수정, 더 나아가 농담 해석과 같은 다양한 태스크를 처리할 수 있다. 하나의 모델로 영어뿐만 아니라 다중언어 태스크에도 대응할 수 있다.

구글은 PaLM 훈련에 7,800억 단어(토큰)로 구성된 문장을 사용했다. 이것들은 웹 페이지나 서적, 위키피디아, 뉴스 기사, 소스 코드, 소셜 미디어 상에서의 대화 등을 통해 수집한 것이다. 이 가운데 서적과 뉴스 기사는 영어뿐이지만, 그 외에는 다중언어 문장이 포함된다.

PaLM은 다재다능 할뿐만 아니라 태스크의 처리 성능도 높다. 구글이 29종류의 자연언어 처리에 관한 벤치마크를 시도한 결과, 28종류에서 역대 최고 기술(State-Of-The-Art, SOTA)을 뛰어넘는 성적을 기록했다고 한다.

PaLM의 특징은 기계학습 모델 규모의 거대함이다. PaLM은 BERT나 GPT-3와 마찬가지로 자기주의기구(SA, Self Attention)인 트랜스포머(Transformer)를 다단으로 쌓아 올리는 뉴럴 네트워크 구조를 채택하고 있다. 그리고 PaLM의 뉴럴 네트워크의 파라미터 수는 5,400억에 달한다. BERT의 파라미터 수는 3억 4,000만이며, 2020년 발표 당시 거대하다고 알려진 GPT-3는 1,750억으로 역대 최대 규모였다.

-- 보이기 시작한 패스웨이즈의 과제 --
기존의 전용형 AI의 경우 새로운 태스크에 대응하려면 그것에 맞는 학습 데이터를 대량으로 준비해야 할 필요가 있다. 이점이 AI 응용의 과제였다. 다양한 태스크에 대응할 수 있는 패스웨이즈는 이러한 과제를 해결할 가능성이 있다.

하지만 구글이 공표한 논문 'PaLM: Scaling Language Modeling with Pathways'에서는 PaLM의 과제도 엿볼 수 있다. 이 논문에 따르면 PaLM에서는 파라미터 수가 늘어나면서 태스크를 처리하는 성능이 향상되는 경향이 있지만, 시도한 태스크 중에는 파라미터 수를 늘려도 성능이 크게 향상되지 않은 것도 있고 한다.

즉, PaLM에 적합하지 않는 태스크가 있다는 것이다. 구체적으로는, 질문 응답 태스크 중에서도 행선지 안내에 관한 태스크인 '내비게이트'나 수학적 증명 방법을 현실세계에 응용하는 태스크인 수학적 귀납법('mathematical induction)' 등이 서툴렀다. 또한, 이번에 PaLM이 제시한 것은 자연어 처리라는 범위에 한정된 만능이다.

텍스트 데이터를 취급하는 자연언어 처리뿐만이 아니라, 화상이나 음성과 같은 다양한 태스크에서 고성능을 발휘해야만 패스웨이즈 본래의 다재다능함을 증명할 수 있다고 말할 수 있을 것이다.

패스웨이즈는 어디까지 만능일 수 있을까? 또한 패스웨이즈가 지향하는 길에 범용 인공지능(Artificial General Intelligence, AGI)은 존재할까? 패스웨이즈의 향후 진보가 기대된다.

 -- 끝 --

Copyright © 2020 [Nikkei Computer] / Nikkei Business Publications, Inc. All rights reserved.