浪人してた東ロボくん、東大を諦める AIの弱点と人間との違い

【クイズ】「A.彼は報告書をまた出し忘れた」「B.おまけに会議に遅刻した」という文章のあとに、続く文として正しいものはどれでしょう？

（1）私は寝坊した。
（2）会議には報告書が必要だ。
（3）彼は社会人として自覚がない。


●浪人してた人工知能（ＡＩ）の東ロボくん、ついに東大を諦める

2016/11/19：AIの話は「人間なんていらない」って傾倒のものばかりなのですが、人間の皆さんに朗報です！　数年にわたり東大への挑戦を続けてきた東ロボくんが、ついに東大合格を諦めたそうです。人間で言うと、何年も浪人して東大に受験してきたものの、もう無理だとギブアップした感じですね。

＜東京大学の合格を目指す人工知能（ＡＩ）の「東（とう）ロボくん」が今年挑戦した大学入試センター試験模試の結果、合格レベルに達しなかったと１４日、国立情報学研究所が発表した。同研究所は、東大合格への挑戦は４回目の今回で終えるとしており、今後は教科を絞って学習を続けるという＞

　「東ロボくん」、東大合格を断念　苦手科目を克服できず：朝日新聞デジタル(山崎啓介　2016年11月14日13時02分)によると、東ロボくんは、２０１３年度から毎年、大学入試センター試験模試に挑戦していました。ＡＩが東大合格に匹敵するような知能を得られるかを点数や偏差値から調査。ただ、良い結果は得られなかったといいます。

＜今年は昨年に引き続き、ベネッセコーポレーションの「進研模試」を受験。５教科８科目の合計得点は５２５点で、偏差値５７・１。昨年に比べ、得点は微増したが、偏差値は０・７下がり、東大合格レベルには達しなかった。科目別の偏差値をみると、世界史Ｂが６６・３、物理が５９と比較的、好成績だった。それに対し、英語（リスニング）が３６・２、国語（現代文＋古文）が４９・７と伸び悩んだ。
　また、東ロボくんは、２次試験を想定した論述式の代々木ゼミナール「東大入試プレ」も受験。地理歴史（世界史）は偏差値５１・８だったが、数学（理系）は全６問中４問が正解。偏差値も７６・２と好成績だった＞


●人工知能・AIの弱点と人間との違いとはいったい何か？

　同日投稿の生徒「なぜ仕事を奪う研究を？」、AI研究者を責める 新井紀子教授の回答は？でやっているように、東ロボくんの研究者である新井紀子教授は、AIの弱点は「AIが意味をわかっていないことだ」としていました。ただ、この説明だけだとちょっとわかりづらいかもしれません。

　実際にどのような点が弱点だったのか？というのは、「東ロボくん」が偏差値57で東大受験を諦めた理由｜ＤＯＬ特別レポート｜ダイヤモンド・オンライン(奥田由意　2016年11月18日)がわかりやすかったです。

　例えば、センター試験模試の英語。単語の穴埋めはほぼ完璧なのですが、ストーリー性があったり、因果関係のある複数の文を読んで文脈を理解したうえで、解答する問題は苦手だとのこと。作者の奥田由意さんが東ロボくんの苦手な例として作った問題は、今回最初に出したものでした。うちではいつもクイズを作っているんですけど、このおかげで一手間省けましたわ。


【クイズ】「A.彼は報告書をまた出し忘れた」「B.おまけに会議に遅刻した」という文章のあとに、続く文として正しいものはどれでしょう？

（1）私は寝坊した。
（2）会議には報告書が必要だ。
（3）彼は社会人として自覚がない。

【答え】（3）彼は社会人として自覚がない。


　人間であれば何てことのない問題だと思うのですが、東ロボくんは、A、Bと同じ単語が入っている（2）や、遅刻という単語と同じ文章に入っている確率が高い「寝坊」が含まれる（1）を選んでしまうとのこと。"文脈を理解できず、自分のデータにある単語の組み合わせの頻度から推定して答えてしまうため"と、説明されていました。これが「AIは意味をわかっていない」の意味。意外に簡単なところでつまずいているのです。


●国語ができない子は他もダメ…意味がわからないと全部問題になる

　上記の例題を見てわかるように、当然国語は苦手。意味を理解できないわけですからね。また、意味を理解できないことは、あらゆる分野で問題になってきます。

　ある塾の関係者は子供はまず国語が大事、国語ができれば他も大体できるようになるといったことを言っていました。これは個人の経験談であり、特に研究に基づいた裏付けはないのですが、実際、そもそも問題文を理解できなければ解きようがないというのはわかります。

　何とAIは多くの場合、問題文の時点でつまずいてしまうのです。以下は世界史の例ですが、彼が得意な数学でも問題文で誤解している例が見られました。問題文の理解の方で引っかかってしまうのです。

＜(引用者注：世界史では)短い問題文であっても、「それまでの風潮に批判的な文化が生まれた」などの抽象的な言い方をしていると、意味をとれず、また、その問題文のなかだけで通用する、「国内では」、や「同盟国以外で」などの言い換えには対応していないので、言い換えが出て来る問題にも正答できない＞

　論述の世界史では、解答自体は辞書や用語集でおなじみの答えであっても、聞き方にひねりがあったり、抽象的な言い方をしている場合には、答えられなかったといいます。言い方が変わっちゃうとダメなんですね。例えば、「魏の初代皇帝となった曹丕の父は誰か」という問題。東ロボくんが学習した用語集には「魏王曹操の子・曹丕」という記述があったにも関わらず、親子関係をひっくり返されただけで回答できなかったとのことでした。


●「AIは意味をわかっていない」は本当か？日本の技術不足の可能性

　それから、問題文に関しては前提条件をすべて出してもらわないと解けないという泣き所もあります。問題文から暗黙の了解となっているものを類推できないのです。これも人間であれば、そこまで難しい話ではありません。

＜たとえば、物体Gがあったとき、常に重力加速度9.8m/秒が働いていることは問題文中には書かれていないが、問題を解くときにはそれが前提になっている。
 図の読み取りも同様だ。図には暗黙の了解事項があって、省略されていることが多く、計算式に置き換えるときに、多くの情報を足さなければならない。そもそも「図1のように」といった“前フリ”が意味するところを理解するのも、東ロボくんは苦手とする＞

　ただ、さっきの曹操の例なんか見てしまうと、単に日本の技術が低いだけでないの？という気もしてきます。これがグーグルのAIや人工知能ワトソンが診断 医師に薬変えるよう助言し患者の命救うでやったIBMのワトソンだったらどうだろう？と思います。ワトソンはそもそも人間のクイズ王に勝利したAIです。

　また、読解力が大したことない…と言いつつ、東ロボくんの開発を進める一方で、人間の中高生の文章の読解力がAIよりも劣っているという研究結果も出ていたという記述があったのも気になりました。これだけ東ロボくんの読解力がひどいにも関わらず、なぜそうなるのか？と、ちょっと理解できない話でした。

2016/11/20追記；最後の読解力比較の件で検索。一応元ネタらしきものは出ました。　→　　人間にしかできないことは読解力…のはずがAIより悪い中高生たち 実は大人の読解力も怪しい？


【本文中でリンクした投稿】
　　■生徒「なぜ仕事を奪う研究を？」、AI研究者を責める 新井紀子教授の回答は？
　　■人間にしかできないことは読解力…のはずがAIより悪い中高生たち 実は大人の読解力も怪しい？
　　■人工知能ワトソンが診断 医師に薬変えるよう助言し患者の命救う

【その他関連投稿】
　　■今読むしかない！『インターネットの次に来るもの 未来を決める12の法則』(ケビン・ケリー)
　　■事務職大激減！会計・経理も人工知能(AI)に代替されるなくなる仕事
　　■テクノロジーの発展で貧富の格差が拡大 ネオ・ラッダイト運動に繋がるか？
　　■ビジネス・仕事・就活・経済についての投稿まとめ