AIと黒魔術 デマだった独自言語で会話を始めたAI実験中止のニュース

　AIの話は楽観論と脅威論が入り混じってたいへんな感じですが、AIができることは人間のできることだけってのはもちろん誤解です。おもしろいなと思ったのが、開発者の手に負えなくなるというか、AIの改良作業をしている開発者でもAIが何しているのかさっぱりわからんということがあるそうです。(2017/7/20)

2018/09/20：
人の理解不能の独自言語で会話を始めたAI実験中止に…
デマだった独自言語で会話を始めたAI実験中止のニュース


●AIは人間のできることしかできない？

2017/7/20：最近AIの話になると、「機械学習をやるとAIより人間の方が詳しくなる」と書いている方がいます。人間がAIにパターンを覚え込ませなくちゃいけないので、そのときに人間がすごく詳しくなるってことみたいですね。

　ただ、これは誤解を招きそうな言い方だと思います。すべてのケースにおいてこのことが言えるわけではないと考えられるためです。まず、「機械学習」というのは、Wikipediaによると、人工知能における研究課題の一つで、人間が自然に行っている学習能力と同様の機能をコンピュータで実現しようとする技術・手法のこと。なので、人間がやっていることの代替にすぎないようです。

　就活のAI導入で不利になるのは嘘つき学生だけ 嘘発見器つきアプリのしくみで、人材研究所の曽和利光さんが「人間の採点したデータをＡＩに学習させて採用効率を上げても、結局人間がみたことと変わりはない」と言っていました。これもいっしょであり、人間のやっていることを代替しただけというケース。しかし、既に実例が多数あるように、AIが人間を超えるケースはいくらでもあります。


●開発者すら理解できないAIの性能が向上する理由

　で、おもしろいなと思ったのが、「機械学習」を導入した将棋AI「ポナンザ」の生みの親である山本一成さんの話。将棋AIが強い理由を製作者は説明できないという話でした。
(「人工知能の性能が上がった理由」は開発者にも説明できない | 人工知能はどのようにして「名人」を超えたのか？ | ダイヤモンド・オンライン　2017年5月17日　山本一成 より)

　「解釈性と性能のトレードオフ」「人工知能の性能を上げるほど、なぜ性能が上がったのかを説明できなくなる」といった言い方もしていましたが、機械学習の世界ではこれを「黒魔術」とも呼んでいるそうです。

　具体的に言うと、"たとえばプログラムに埋め込まれている数値がどうしてその数値でいいのか、あるいはどうしてその組合せが有効なのか、真の意味で理解していない"という話。新しい改良を加えたポナンザが、古いボナンザと対戦して勝率が高いときにその改良を採用するのだそうですが、将棋のプレイヤーとしての感覚からでは、なぜ強くなったのかさっぱりわからないそうです。

　また、この改良というのが、そもそも当てずっぽう。"強くなることが確認できるのは100回に2回もない"ということで、改良策は完全に勘で偶然頼り。実際には改良になっていないことの方が大半なんですね。


●しくみが説明できないことは実は他分野でも珍しくない？

　同じ話を書いた別記事への反応では、工学なんかは普通にそうじゃないか？という指摘がありました。

“科学ならそうだが工学ならよくあること。”(kenchan3　2017/06/21)
“「人工知能の性能を上げるほどなぜ性能が上がったのかを説明できなくなっている」人工知能は科学でなく工学。工学だからといって科学だとは限らず、科学でないからといって役に立たないとは限らない”(tach　2017/06/21)
“医学分野でも作用機序のわからない薬とかあるようだし、実用と理解が同期しないのは今に始まったことではないが、AI研究で生物知能の解明につながるかと期待している人間としては非常にモヤモヤした気持ちになる。”(obsv　2017/06/21)
“還元主義だけを科学だと定義してるのが間違いかもね。”(kei_1010　2017/06/21)
(はてなブックマーク - 「人工知能と黒魔術」（視点・論点） | 視点・論点 | NHK 解説委員室 | 解説アーカイブスより)

　そういえば、そうでした。工学は、しくみなどを厳密に説明できなくても、法則性が見つかればそれでOKという感じだと大雑把に捉えていました。工学以外の分野でもよくあることで、そう考えると、それほど不思議でもないかもしれません。


●人の理解不能の独自言語で会話を始めたAI実験中止に…

2018/09/20：フェイスブック人工知能研究所が、人間との会話をシミュレーションする開発中のAIチャットボット、”会話エージェント”に機械学習を用いて交渉のやり方を教えていたところ、人間には理解できない独自の言語を作り出し、その言葉を使って交渉をし始めて、「調整」せざるを得ない状況になったと報じられていました。

　独自の非ヒト言語によるコミュニケーションが発生した…ということで、「まるでSF映画さながらのデジャヴ感がある」ともされていた他、以下のように不安感を煽る内容でした。

・人間には理解できない言葉を作り出し、それで会話を行っていくという、ある意味AIの暴走ともいえるこの行為は、「良からぬことが起こるかもしれないサイン」である。
・我々が理解できない挙動を見せるということはやはり要注意事案なのかもしれない。
(はじまっちゃった？人工知能（AI）が人間に理解できない独自の言語を生み出し会話を始めた（米研究） : カラパイア　2017年07月11日より)


●デマだった独自言語で会話を始めたAI実験中止のニュース

　ただ、どうもこの話はだいぶ大げさで、デマと言って良い内容だった模様です。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュンさんは、以下のように説明していました。

・実験を中止したのだけは本当。ただし、言語が不明なので研究に活用できないからという理由であり、予期されていたこと。
・2つのAIエージェントは、使用言語の変更が許されており、言語が変化していくことはよくあることで想定の範囲内。
・言語が変わるのは、人間が設定した目標のために最適化したせいで、人間に何かを隠すような意図をもっていたわけではない。
(「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす - CNET Japan　 藤井涼 （編集部） 井口裕右2017年11月16日 07時00分 より)

　また、「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」としていました。


【本文中でリンクした投稿】
　　■就活のAI導入で不利になるのは嘘つき学生だけ 嘘発見器つきアプリのしくみ

【その他関連投稿】
　　■AI(人工知能)で農家の職人技すら不要に グーグルテンサーフローでキュウリの選別や唐揚げの盛り付け
　　■実はAIの発展で最初になくなる仕事は、能力がある上司の仕事？
　　■AI僧侶が登場、裁判官も弁護士に「もっとAI使え」 ノーベル賞もAIの時代になるか？
　　■AIで仕事がなくなる…は誤解だった 人間の作業を代替するだけで職業そのものを代替するわけではない
　　■囲碁AIがさらに進化 世界に置いてかれる日本AIは中国にも完敗
　　■ビジネス・仕事・就活・経済についての投稿まとめ