センター英語でAIが185点、NTT CS研が独自技術を考案

 日本電信電話(NTT)と国立情報学研究所は2019年11月18日、人工知能プロジェクト「ロボットは東大に入れるか(東ロボ)」の一環として、人工知能(AI)が2019年大学入試センター試験の英語筆記科目に挑戦した結果、185点(偏差値64.1)を獲得したと発表した。

教育ICT その他
センター英語本試験の成績変化
  • センター英語本試験の成績変化
  • 不要文除去問題の例(センター2019本試験 3A)
  • アクセント・発音問題の解答手法(アクセント個所や単語内の指定個所の発音を調べる手法)
 日本電信電話(NTT)と国立情報学研究所は2019年11月18日、人工知能プロジェクト「ロボットは東大に入れるか(東ロボ)」の一環として、人工知能(AI)が2019年大学入試センター試験の英語筆記科目に挑戦した結果、185点(偏差値64.1)を獲得したと発表した。

 英語問題は、自然言語処理、知識処理の統合的な問題を多く含んでいる。NTTコミュニケーション科学基礎研究所(NTT CS研)は、「東ロボ」プロジェクトを自然言語処理、知識処理の基礎研究を進めるベンチマークと捉え、センター試験に含まれる多様な英語問題に対する自動解答に関する知見を積み重ねてきた。

 深層学習に基づく文書読解技術の最新技術であるXLNetは、大規模テキストによる事前学習を行ったベースモデルに、問題の性質に合わせた転移学習を施すことで、異なる種類の問題を比較的少量のデータから効率的に解くことを可能にした。しかし、学習に利用できるデータが大きく不足している問題や、解答に辞書的な情報が不可欠な問題では、十分な精度で解答することが困難だった。

 NTT CS研を中心とした東ロボ英語チームは、XLNetでは解答が困難だった不要文除去、段落タイトル付与、発音問題に独自技術を適用。不要文除去問題においては、不要文を含まない通常の文章から、文の順序を組み換えて擬似的に不自然な流れの文章を作成することで、大量の不要文除去問題を自動作成する手法を考案し、自動的に作成した疑似問題と用いて不要文除去問題を高精度化した。

 段落タイトル付与問題では、各段落と選択肢の類似度を計算し、最適な段落・選択肢の組み合わせを導く手法を考案。段落タイトル付与問題の自動解答を実現した。アクセント・発問問題には、深層学習ではなく、あえて発音辞書を地道に調べる方法を適用し、表記ゆれを抑える工夫や問題解析器の精度を高め、ほぼ満点の成績を得た。

 この独自技術の適用により、2019年大学入試センター試験の英語筆記科目(200点満点)において、適用前の154点から点数が大きく伸び185点を獲得。受験者中の偏差値は64.1(適用前57.0)だった。また、同じ技術を過去3年間のセンター本試験・追試験に対して適用した結果、いずれも偏差値60以上の成績を達成したという。

 これらの英語問題における技術的な前進は、岡山県立大学の菊井玄一郎教授、秋田県立大学の堂坂浩二教授、大阪工業大学の平博順准教授、電気通信大学の南泰浩教授、工学院大学の大和淳司教授らとNTT CS研との共同研究によるもの。

 これまでの研究を通して、生活資料(チラシや広告)などの複数の情報からなる文書の理解や、グラフや表の読解、会話の流れの理解については、いまだ安定した自動解答は実現できていないという課題が明らかになっている。今後はこのような、言語以外の情報や実世界の常識的知識が深く関わるタイプの問題に対応するため、関連する基礎研究の推進と統合を進めていくとしている。
《外岡紘代》

【注目の記事】

特集

編集部おすすめの記事

特集

page top