만능 AI가 지향하는 궁극적 모델
구글이 수 년에 걸쳐 개발을 추진해온 만능 AI(인공지능) '패스웨이즈'의 실력이 드디어 공개되었다. 패스웨이즈는 1개의 기계학습 모델이 최대 수백만 종류의 태스크에 대응할 수 있는 '만능' 또는 '범용' AI이다. 기존의 AI는 1개의 모델이 1종류의 태스크 전용임에도 불구하고, 범용인 패스웨이즈의 태스크 처리 성능은 기존의 AI보다 앞선다. 놀라운 위력이다.
구글은 4월 4일(미국 시간), 자연어 처리에 관한 여러 종류의 태스크를 처리할 수 있는 'Pathways Language Model(PaLM)'을 발표했다. 자연언어를 통한 질문 응답과 문장 생성 등을 할 수 있는 언어모델로 불리는 AI를 패스웨이즈로 구현했다. 언어모델은 최근 BERT와 GPT-3 등이 성과를 거두면서 주목 받고 있다.
1모델 1태스크 전용인 기존의 언어모델로 다른 태스크를 처리하기 위해서는 그것에 맞게 기계학습 모델을 다시 트레이닝(훈련)시켜야 할 필요가 있었다. 반면 PaLM은 하나의 기계학습 모델로 질문 응답이나 문서 생성, 다단계의 논리적인 사고, 번역, 소스 코드의 생성〮수정, 더 나아가 농담 해석과 같은 다양한 태스크를 처리할 수 있다. 하나의 모델로 영어뿐만 아니라 다중언어 태스크에도 대응할 수 있다.
구글은 PaLM 훈련에 7,800억 단어(토큰)로 구성된 문장을 사용했다. 이것들은 웹 페이지나 서적, 위키피디아, 뉴스 기사, 소스 코드, 소셜 미디어 상에서의 대화 등을 통해 수집한 것이다. 이 가운데 서적과 뉴스 기사는 영어뿐이지만, 그 외에는 다중언어 문장이 포함된다.
|