일본산업뉴스요약

Nikkei X-TECH_2024.3.22

AI 환각 대책의 비장의 카드
오픈AI 라이벌 Cohere의 공동 창업자가 추천하는 ‘Rerank’

대규모언어모델(LLM)의 약점인 할루시네이션(Hallucination, 환각)에 대한 대책으로 가장 기대를 모으고 있는 것은 RAG(Retrieval-Augmented Generation, 검색확장생성)이다. 이 RAG에 강점을 가진 캐나다의 스타트업 Cohere의 프로스트 공동 창업자는 RAG의 고도화에 ‘Rerank(순위 재설정)’라는 기술이 필수적이라고 지적한다.

RAG는LLM에 대해 사전에 학습한 지식뿐만 아니라, 외부의 지식 정보도 참조해서 텍스트를 생성시키는 방법이다. RAG를 활용하면 기업의 내부 정보에 기반한 답변을 LLM이 생성하는 것도 가능하기 때문에 LLM이 잘못된 답변을 출력하는 할루시네이션에 대한 대책으로 유망 시 되고 있다.

-- LLM과 검색을 조합하는 것이 'RAG' --
RAG는 '검색확장생성'이라는 이름에서 알 수 있듯이 LLM이 참조하는 지식 정보 선택에 검색기술을 사용한다. RAG의 검색에는 단어(키워드)가 포함되어 있는 문서를 찾는 기존의 ‘키워드 검색’이 아니고, ‘벡터 검색’을 사용하는 것이 많다.

벡터 검색이란 텍스트를 고차원의 수치 벡터로 표현한 다음, 벡터간 얼마나 닮았는지를 나타내는 ‘코사인 유사도’에 근거해, 질문(쿼리)에 적합한 답을 찾는 구조이다. 텍스트 벡터화에는 텍스트의 의미를 고려할 수 있도록 임베디드 모델로 불리는 LLM을 사용하는 것이 최근 트렌드이다.

이번에 필자가 인터뷰한 프로스트 씨가 창업한 Cohere는 RAG에 강점을 가진 LLM 스타트업이다. 비즈니스 관련 문서를 사전 학습한 LLM을 기업용으로 제공하는 것 외에도RAG를 실현하기 위한 다양한 기술도 제공한다.

프로스트 씨와 함께 Cohere를 창업한 고메즈 CEO는 LLM의 기본기술인 자기주의기구 Transformer를 제창한 논문 ‘Attention Is All You Need’를 집필한 8명의 연구자 중 한 명이다. 또한 Cohere에는 Meta가 2020년에 RAG를 제창했을 때의 논문 ‘Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks’의 제 1저자인 루이스 씨도 소속되어 있다.

이렇듯 저명한 연구자들이 소속되어 있어 Oracle과 NVIDIA도 출자하는 Cohere는 OpenAI의 유력한 경쟁자로 꼽히고 있다.

-- 검색 결과를 중요도에 따라 순위를 재설정 하는 'Rerank' --
RAG에 주력하고 있는 Cohere의 비장의 카드가 Rerank라는 LLM(Rerank 모델)이다. 이것은 어떤 질문 문항에 대한 검색 결과가 복수 있을 경우, 질문문과의 관련도에 따라 검색 결과를 새롭게 순위 매기는 LLM이다.

“벡터 검색은 말하자면 100만 건 있는 텍스트 중에서 질문 문항에 관련될 것 같은 100건을 골라내는 기술이다. Rerank 모델은 더 나아가 100건의 검색 결과 중 질문 문항에 가장 적합한 1건의 텍스트를 선별할 수 있다”. 프로스트 씨는 Rerank 모델의 의의를 이렇게 설명한다.

코사인 유사도에 근거하는 벡터 검색은 쿼리의 내용과 유사한 텍스트를 찾아내는 기술이다. 텍스트의 유사도만으로는 유저에게 가장 필요한 정보를 찾기는 어렵다. 이 때문에 웹 검색의 세계에서도 검색 결과를 ‘중요도’에 따라 순위를 설정하는 다른 기술이 사용되고 있다. 그 대표적인 것이 구글 검색에서의 ‘PageRank’라고 하는 알고리즘이다.

-- 웹 검색의 ' PageRank'는 사내에 적용할 수 없어--
PageRank는 웹 페이지 간의 링크 구조나 웹을 이용하는 유저의 클릭 동향 등에 근거해 중요도가 측정된다. 웹을 열람하는 유저의 ‘집합지(集合知)’를 활용하는 것이 PageRank이다.

그러나 PageRank와 같은 집합지를 활용하는 방법은 사내 정보 검색에는 응용할 수 없다. “사내 정보를 열람하는 유저의 수가 적기 때문이다. 2명밖에 열람한 유저가 없는 등의 세계에서는 PageRank를 응용할 수 없다”(프로스트 씨).

이에 반해 Rerank 모델은 사전에 ‘질문문과 그것에 어울리는 답의 페어’를 대량으로 학습. 이 때문에 텍스트의 의미나 문맥 등에 근거해 질문 문항에 가장 관련성이 높은 텍스트를 선택할 수 있다고 한다.

“Cohear의 Rrank 모델은 유저 기업이 미세하게 조정하는 것도 가능하다”라고 프로스트 씨는 강조한다. 유저 기업이 '질문과 답의 페어'를 만들어 Rerank 모델에 학습시킴으로써 자사 정보의 중요성의 경향을 모델에 반영할 수 있다.

현재 많은 사람들이 생성 AI(인공지능)에 열광하고 있지만, 생성 AI가 일상생활과 업무에 침투해있다고 보기는 어렵다. 여기에는 큰 갭이 있다. “생성 AI 애플리케이션의 프로토타입을 만드는 것과 생성 AI 앱을 실제 업무에 투입하는 것은 큰 차이가 있기 때문이다. 우리는 실제로 기능하고 도움이 되는 생성 AI앱 실현에 전력을 쏟고 있다”라고 프로스트 씨는 강조한다.

 -- 끝 --

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.