일본산업뉴스요약

AI, 수능모의고사에서 상위 20%의 성적
독해력과 의미 이해의 벽

국립정보학연구소 등이 진행하는 인공지능(AI) 개발 프로젝트 「로봇은 도쿄대학에 갈 수 있을까」는, 중고생의 독해력의 진단과 독해력을 터득하기 위한 교재개발을 시작한다. 현재의 AI는 문제 등의 의미를 이해하지 않은 채 해답을 생성하여 좋은 성적을 내고 있다. 중고생도 시험의 문제를 이해 못하는 문제가 부각되고 있고, 사람의 독해력에 중점을 두고 AI에서 교육을 지원하는 기술을 개발한다.

-- 수학은 합격수준 --
히가시 로봇은 2016년도의 수능모의고사에서는 메이지대학 등, 「MARCH(사립 5대대학)」과 「칸칸도리츠(긴키지방4대대학)」라고 불리는 명문사립대학에 대한 합격가능성이 80%를 넘었다. 수능모의시험에서는 2015년도가 상위 20%의 성적으로, 2016년도도 비슷한 수준으로 안정된 득점을 낼 수 있는 것을 실증했다. 논술식의 도쿄대학 모의시험에서는 수학에서 상위 1%의 성적을 냈다. 프로젝트 디렉터인 아라이 교수는 “수학만 보면 도쿄대학 이공계도 합격 가능할지도 모른다.” 라며 자랑스러워 한다.

한편 기술적인 과제도 명확해졌다. AI는 문제 등의 의미를 이해하지 못하는 것이다. 영단어의 선택문제 등은 데이터를 참고하여 정답을 낼 수 있지만, 영어의 장문해독과 물리의 문제를 이해하지 못했다. 예를 들어 영어에서는 심층학습을 도입하고, 19억문장 500억단어를 학습시켰다. 문법문제에서는 정답률이 67%에서 86%로 향상되는 등 단어선택문제는 성적이 올랐다. 단 문장의 선택문제는 정답률이 떨어졌다. NTT의 히가시나카 연구원은 “문장과 단어의 자연스러움을 판정하기 위해서 500억 단어가 필요하다. 문장과 문장에서는 500억 문장을 필요로 하고 데이터가 방대해져서 바로 풀 수 없다.” 라고 이야기 한다.

논술식의 수학에서는 문제를 AI가 다룰 수 있는 형식으로 고친 문제에서는 거의 만점을 받았다. 단 수학의 문제는 심플하고 다루기 쉽다. 세계사에서는 문제와 지식의 의도와 의미는 이해하지 않고, 용어집 등의 문서를 짜깁기하여 정답을 작성했다. 이대로는 근본적인 성적향상은 어렵다. 그래서 모의고사의 전과목을 보는 것을 멈추고, AI개발은 영어 등 특정과목에 집중한다.

-- 사람의 독해력 --
한편으로 AI는 의미를 이해하지 않은 채, 기술적으로 문제를 풀고 합격을 받았다. 수험생도 교과서와 문제를 이해하지 않은 채 기술적으로 문제를 풀고 있지 않은지 검증했다. 중고생의 독해력을 시험해보니 문장의 구성을 이해하는 것에서 중학생의 29%, 고교생의 5%가 이해하지 못하고 있었다. 문장을 추론하는 문제에서는 이해하지 못한 중학생이 57%, 고교생이 27%에 달했다. 그래서 AI를 응용하여 사람의 독해력을 측정하는 테스트와 교육법을 개발한다.

히가시 로봇도 수험생도 의미를 이해하는 것의 벽에 부딪치고 있다. 독해력의 측정은 간단하지 않고, 문장의 구성이해 등 문장이해의 방법론의 연장으로, 세계사에 나오는 사회현상과 자본주의 등의 개념의 이해가 되었다고 할 수 없다. 그리고 독해력 향상은 교육자와 교육연구자가 긴 세월 연구해온 과제 중 한가지이다. 교사 한 사람 당 학생 수가 많은 것 등, 기술만의 문제가 아닌 뿌리 깊은 문제도 있다. 문제를 명확하게 하는 것과, 해결하는 것은 어려움의 차원이 다르다. AI개발을 통해 교육계에 문제를 제기해온 히가시 로봇이, 앞으로는 교육현장의 문제해결에 이용된다.

     -- 끝 --