人間に学ばない方が強い？アルファ碁ゼロが世界王者に100戦全勝

　当初は、"バグで人に負けたアルファ碁とバグで人に勝ったチェスのディープブルー"(2016/3/23)というタイトルで書いていた話でした。ただ、あまり読まれなかったので模様替え。「アルファ碁」の後継機「アルファ碁ゼロ」は、人間に学ばないことで人間に学んだときよりもっと強くなった…という話を冒頭に加えました。(2017/10/19)


【クイズ】ソフトウェアなどのアルファ版とベータ版に関する説明で正しいものはどれでしょう？

(1)アルファ版で出た問題点やバグを改善し、ユーザーに試用してもらうための版がベータ版。
(2)アルファ版は非公開のテスト用ソフトウェアで、ベータ版は公開のテスト用ソフトウェア。
(3)Googleの電子メールサービス Gmailも、リリース以来3年間に渡ってベータ版を名乗っていた。


●人間に学ばない方が強い？アルファ碁ゼロが世界王者アルファ碁に100戦全勝

2017/10/19：世界最強の人間の棋士より強い囲碁の人工知能（ＡＩ）を開発した英ディープマインド社が、さらに腕前を上げたＡＩ「アルファ碁ゼロ」を開発したそうです。世界最強レベルの韓国の李世乭（イセドル）九段を倒して「世界王者」となったＡＩと対局して、１００戦全勝という圧倒的な強さを見せました。

　囲碁AIはどんどん強くなっており、これ自体は不思議ではありません。しかし、今回驚きだったのが、人間の手法を学ばなかったということ(「教師なし学習」といいます)。初代アルファ碁は、人間の棋士による過去の膨大な棋譜を学習したうえでＡＩどうしが繰り返し対局する「強化学習」という手法で腕を磨いてきました。

　アルファ碁ゼロは、棋譜のデータに頼らず、人間の初心者以下の状態から強化学習だけで上達。４９０万回の自己対局の後、アルファ碁に１００戦全勝。さらに、どんどん強い囲碁AIが出ているというAIの一つである「アルファ碁マスター」も圧倒。

　「アルファ碁マスター」は、井山裕太・現七冠を含むトップ棋士らに６０戦全勝していたAIだったのですが、２９００万回の自己対局の時点で、こちらも寄せ付けない強さになってしまいました。
(最強ＡＩ「アルファ碁ゼロ」、人間の棋譜頼らず強くなる：朝日新聞デジタル　小宮山亮磨　2017年10月19日03時05分より)

　通常、AIでは人間からの学習は重要とされることが多いです。一から作ると時間がかかってしまうため、師匠となるようなうまい人間の挙動を真似して学習した方が良いと言われていました。

　ところが、今回、人間に一切学ばなかったAIが、人間に学んだAIよりずっと強いという衝撃的な結果に。独自の「定石」も見つけたとのことで、むしろ人間の経験が邪魔をしていた感じすらあります。ショッキングな話です。

　別記事によると、アルファ碁ゼロは人間の見つけた定石も再発見していたようです。そのため、米国囲碁協会のアンディ・オークン会長らは、ＡＩと人間が同じ定石に到達したことで「数世紀にわたる人間の囲碁の営みは全くの誤りではなかった」と寄稿で述べていたとのこと。もう既にAIの方が先生になっているようなコメントですね。
(囲碁ＡＩが「独学」で最強に　グーグル、産業応用探る　　：日本経済新聞　2017/10/19 2:01　川合智之より)


●アルファ碁はバグで人に負けた？

2016/3/23：井山裕太氏の予想が大外れ 凡ミスするのになぜか強いアルファ碁の謎などで書いたアルファ碁は、4勝1敗で終わりました。この1敗に関しては「バグ」という言い方をしている人が多かったです。以下のツイートもそういうものですね。

五番勝負を検討してわかったこと
ＡＩはやたら力が強い代わりに対局感が乏しいイメージだったが、その逆だった
アルファ碁先生は、対局感が異常に優れていて、まるで日本の棋士を最強に強くしたかのよう
そして手どころでたまにバグる pic.twitter.com/KeJ7cNWubN

— 大熊悠人 (@kumanoyuuutu) 2016年3月15日

＜囲碁：人間ｖｓ人工知能＞李世ドル「アルファ碁、予想外の手にバグ」 | Joongang Ilbo | 中央日報　2016年03月14日11時20分

続く質問で、李九段は「アルファ碁がさらした弱点は２つ」と説明した。第一に「黒が苦手なのではないかと思う」とした。次に「きょう、アルファ碁が予想していなかった手が出た時、一種のバグ状態で数手進んだ」とし「予想外の手が出ると対処能力が落ちるようだ」と付け加えた。

　また、次もバグという言葉が出てくる記事でした。

囲碁AIにイ・セドル9段が初勝利、プログラムの弱点見破った？　2016年03月13日　編集局　第一産業部　部長　藤元 正

　記者会見の冒頭、イ・セドル9段は「今回の勝利は非常に大きな価値がある。世界の何ものにも代えがたい」と笑顔で喜びを語った。さらに、記者の質問に対し、これまでの対局を通してアルファ碁の弱点を二つ発見したことを明らかにした。一つ目は、黒（先手）で打つときのほうが、白（後手）よりも苦手なこと。二つ目は思いがけない手に、ミスというほどではないが、それまでに比べわずかに劣った対応をすること。後者について「バグではないか」という。

●「アルファ碁はまだプロトタイプ」と開発者

　医療目的にも使うのにバグあったら困るんじゃないの？とも、記者団から質問が出たみたいです。それに対する直接の回答かどうかわかりませんが、以下のような話がありました。

　ディープマインドの創業者でもあるデミス・ハサビスCEOは、こうした指摘に、「アルファ碁はまだプロトタイプ。負けは貴重な学習手段であり、修正すべきプログラムの弱点を特定するのに役立つ」と答え、今回の敗退を生かして囲碁AIをさらに強くしていく考えだ。

　「アルファ版で出た問題点やバグを改善し、ユーザーに試用してもらうための版がベータ版」です。アルファ碁のアルファはたぶんこの後にベータ碁が出るって意味ではないと思うんですが、この話で思い出してしまいました。(2017/10/19追記：「アルファ碁」の次は「アルファ碁ゼロ」で、やはり「ベータ碁」ではありませんでした)


【クイズ】ソフトウェアなどのアルファ版とベータ版に関する説明で正しいものはどれでしょう？

(1)アルファ版で出た問題点やバグを改善し、ユーザーに試用してもらうための版がベータ版。
(2)アルファ版は非公開のテスト用ソフトウェアで、ベータ版は公開のテスト用ソフトウェア。
(3)Googleの電子メールサービス Gmailも、リリース以来3年間に渡ってベータ版を名乗っていた。

【答え】(1)アルファ版で出た問題点やバグを改善し、ユーザーに試用してもらうための版がベータ版。


　なお、アルファ版・ベータ版ともに公開・非公開両方あるようです。また、Gmailのベータ版は5年間とのこと。私はもっと長いイメージがありました。


●バグで人に勝ったチェスのディープブルー

　今回の話を書いたのは、実は以下のような昔の記事のメモが出てきたためです。

IBM元開発者「チェス王者にスパコンが勝てたのは、バグのおかげ」

1997年5月、IBMのスーパーコンピューター「ディープブルー」が、当時チェスの世界王者だったゲイリー・カスパロフと対戦し、「コンピューターに負けることなどない」と豪語していたこの世界チャンピンを打ち負かした。

ディープブルーに敗北を喫したことについて、カスパロフや他のチェスの名手らは、ある一手のせいだと分析していた。第一局の終わり（第二局の最初の一手とする人もいる）に、ディープブルーはある駒を犠牲にする一手を打った。(中略)

この一手は、コンピューターによるものとは思えない非常に洗練された動きであったため、カスパロフや他の多くの人間が、ゲーム中に何らかの人間の介入があったのではないかとも仄めかしていた。「あれは信じられないくらい洗練された動きだった。守りを固めながら、同時にその後反対の動きをすることを微塵も悟らせないようなものだった。そして、それがカスパロフを混乱させた」。グランドマスターの称号を持つヤセル・セイラワンは2001年にWiredに対してそう語っていた。

あの対戦から15年が経ったいま、ディープブルーの設計に携わったあるエンジニアは、あの動きがバグのせいで生じたものだったことを明らかにした。(中略)

マーレイ氏は同マシンを設計した3人のコンピューターサイエンティストのひとりだが、同氏によると、あの時ディープブルーは次の一手を選択できず、単にランダムに手を打ったのだという。(中略)

「カスパロフは直感に反したあの動きについて、優れた知性の証だとする結論を導き出した」とマーレイ氏はシルヴァー氏に語っている。「彼はあれが単なるバグの結果だとは考えもしなかった」（マーレイ氏）

　ただ、意外性のある一手というのは重要なのは確かなのでしょうね。井山裕太氏の予想が大外れ 凡ミスするのになぜか強いアルファ碁の謎で書いたように、アルファ碁はミスに思えるような意外な手が多いそうです。

　また、アルファ碁が負けたのもイ・セドル9段の“神の一手”のせいではないか？と言われていました。ただ、最初の記事によると、イ・セドル9段は、"いわゆる“神の一手”については「その場面では他の方法がなかった。仕方のない手だったがこのように称賛されて戸惑う」と話した"とのこと。

　イ・セドル9段の謙遜かもしれませんけど、何となくディープブルーのバグと似たものを感じておもしろいですね。意外性の勝利です。


【本文中でリンクした投稿】
　　■井山裕太氏の予想が大外れ 凡ミスするのになぜか強いアルファ碁の謎

【その他関連投稿】
　　■アルファ碁、世界トップ級イセドルに勝利 実は囲碁が弱い日本人
　　■実際にプロがやった将棋の反則ランキング 二歩などの禁じ手、二手指しなど
　　■日本庭園の侘び寂びを競うボードゲーム「枯山水」が素晴らしい
　　■将棋でなぜ二歩は禁じ手なのか？反則にしている理由はあるのか？
　　■商品・サービス・技術についての投稿まとめ