일본산업뉴스요약

Nikkei X-TECH_2024.2.27

생성 AI, 변리사 시험에 도전
결과는 '불합격'이었지만, 활용법 보여줘

일본의 의사 국가고시나 해외의 사법고시 등 난관으로 여겨지는 자격시험에 합격하는 생성 AI(인공지능)가 나오고 있다. 그러한 가운데 가나자와공업대학(金沢工業大学) 대학원이 생성 AI에게 일본의 변리사 시험을 풀게 했더니 결과는 불합격이었다. 하지만, AI의 해답 내용을 분석해 나감으로써, 지적 재산 업무에 생성 AI를 활용하기 위한 방책 및 과제가 보였다.

가나자와공업대학 대학원 이노베이션매니지먼트연구과의 가토(加藤) 교수와 도쿄이과대학(東京理科大学) 공학부 정보공학과의 아카쿠라(赤倉) 교수는 변리사 시험의 단답식 필기시험(1차 시험)과 지적 재산 관리기능 검정시험을 미국 오픈AI의 생성 AI ‘챗GPT’로 풀어, 그 결과를 검증했다. 언어모델은 주로 GPT-4를 사용했다.

2023년 단답식 필기시험을 챗GPT로 푼 결과, 점수는 합격 기준의 절반에도 못 미쳤다. 영역별로 보면, 합격 기준점에 도달한 것은 ‘공업 소유권에 관한 조약’뿐이었다.

또한 출제 형식에 따른 영향을 크게 받는다는 것을 알 수 있었다. 단답식 필기시험의 대표적인 출제 형식으로는 '정답 선택'과 '오답 선택'이 있다. 오답 선택 문제의 정답률은 44%로, 정답 선택 문제의 2배 이상이었다.

정답 선택이나 오답 선택과 같은 택일 형식 외에 자주 나오는 출제 형식으로는 ‘정오수(正誤數) 해답(정답이나 오답 수에 대한 해답)’이 있다. 그 정답률은 16%로, 택일 형식보다 더 낮았다. 하지만, 이러한 문제를 구성하고 있는 각각의 선택지 단위에서 정답률은 60~80%에 달했다.

-- 지적 재산 기능 검정은 3급에 '합격' --
지적 재산 관리 기능 검정 1~3급 시험에 대해서는 과거 문제들을 챗GPT로 풀어 보았다. 이 검정시험은 기업의 지적 재산 부문 등에서 필요한 관리 능력을 측정하는 것이다.

전반적으로 법률 지식을 묻는 학과시험의 정답률이 높았고, 실무를 바탕으로 한 실기시험의 정답률은 낮았다. 3급에서는 학과시험 정답률이 70%로, 합격기준(70%)에 도달했다. 실기시험은 63%로, 합격기준에 미치지 못했지만, 문제를 바꿔 몇 차례 풀게 한 결과, 학과시험과 실기시험 모두 합격기준에 도달한 경우도 있었다. 더 어려운 1급과 2급 학과시험의 정답률은 47~75%로, 합격기준(80%)에 도달하지 못했다.

이러한 결과에 대해 가토 교수는 “거의 조정하지 않은 상태의 생성 AI로 60% 정도의 정답율은 상당히 높다고 느꼈다. 지적 재산에 대한 지식이 없는 일반인보다는 낫다”라고 분석한다. AI를 메인인 지적 재산 관련 업무에 사용하는 것은 아직 어렵지만, 지적 재산에 대한 지식이 많지 않은 기술자가 필요할 때 지적 재산 담당 부서에 물어보기 전에 AI에게 질문하거나, 지적 재산 담당 부서의 직원이 작성한 서류 등을 확인하는 용도로는 충분히 사용할 수 있을 것이라고 한다.

또한 앞으로 시험의 정답률을 올릴 수도 있을 것 같다고 한다. 예를 들어, 정답률이 낮은 요인 중 하나로 미국 등 해외 법률이나 이에 기반한 데이터의 영향을 AI가 받았을 가능성이 있다. 보다 바람직한 해답을 얻는 방법으로는 AI에 질문하기 전에 전제나 지시를 제공하는 프롬프트 엔지니어링이 있지만, 이번 검증에서는 시험이 실시되기 전의 학습 데이터를 지정하는 정도밖에 하지 않았다. 정답률 개선을 위해 사전에 정확한 법률 데이터를 제공하는 등의 조정을 생각할 수 있다.
 

지적 재산 업무에서의 생성 AI 활용에는 과제도 있다. 그럴듯한 거짓 정보(할루시네이션)이다. 사실 가토 교수 본인도 이번 검증을 통해 할루시네이션의 심각성을 실감했다고 한다. 이번 검증에서는 AI에 해답을 출력시킬 뿐만 아니라, 선택지 단위로 판단 근거까지 출력시켰다. 그러나 그 출력 내용을 가토 교수와 같은 전문가도 바로 타당성을 판단하기 어려운 경우가 있었다고 한다. “AI의 거짓 정보를 간파하는 것은 전문가에게도 어려운 작업이 되고 있다”(가토 교수).

<키워드>
생성 AI: 문장과 음성, 화상, 프로그램코드 등, 다양한 콘텐츠를 생성할 수 있는 인공지능(AI). 미국 오픈AI(OpenAI)의 대규모언어모델(LLM) GPT가 각광 받으면서 생성 AI에 대한 세간의 관심이 부쩍 높아졌다. 이로 인해 기업들의 개발 경쟁도 격화되고 있다. 텍스트와 음성, 동영상 등 여러 정보를 처리할 수 있는 멀티모달 생성 AI가 주목 받고 있다.

--끝--

Copyright © 2020 [Nikkei XTECH] / Nikkei Business Publications, Inc. All rights reserved.