有名な心理学研究の60％に再現性なし 医療分野では70～90％も

2015/10/20：
●有名な心理学研究の60％は再現性がない…という衝撃の事実が判明
●がん研究や新薬開発の分野よりマシ 医療分野では70～90%も…
●重要ながん研究論文の実験、再現性がなかったものが9割も
●再現性を調べる追試が少ないのは研究者に追試するメリットがないから


●有名な心理学研究の60％は再現性がない…という衝撃の事実が判明

2015/10/20：以前も似たような話をやった気がしますが、証拠を積み重ねていった方が良いですので、別の話も紹介。今回は、有名な心理学研究のうち「再現性がある」ものはわずか39%だった　 | World Biz News | 現代ビジネス [講談社](2015年07月11日（土）　クーリエジャパン)という記事からです。

　英「ネイチャー」誌によると、2011年以降、世界の250人以上の研究者からなるプロジェクトグループが、有名な心理学の研究成果100件を試す実験を行ったそうです。実験がちゃんと同じ結果となるか？という「再現性」を調べたんですね。

　実験の対象となったのは、心理学の主要な学術誌3誌に掲載された、08年発表の研究成果です。すると、実際に再現性が確認できるのは、わずか39件に留まるという結果に。つまり、39％しか再現できませんでした。

　言い換えるとなんと半分以上にあたる61％の研究が再現できなかったわけです。この再現性が確認されなかった心理学研究61件のうち、24件には「それなりに似た」結果は出たとのこと。これでもマシという状況になっています。


●がん研究や新薬開発の分野よりマシ 医療分野では70～90%も…

　「有名な」ですので、それ以外だと多少変わりそうな感じ。なので、同じ条件とは言えませんが、「心理学がほかの分野に比べて、厳密性が低いことを意味するわけではない」としています。

　なぜそのような奇妙なことが言えるのか？というと、他の分野ではもっとひどいため。スタンフォード大学で、研究者の不正行為について検証しているダニエル・ファネリによると、がん研究や新薬開発の分野では、再現性のある研究の割合はさらに低くなるとされていました。

　以前も似たような話をやった気がしますと書きました。なので、ブログ内を検索。STAP細胞問題のときに書いたと思ったのですが、実際その時期で論文が不正だらけである理由 再現性をとる追試が行われないからというところで出ていました。

　このとき引用した記事はいろいろとあります。ただ、今回と関係が深いのはクマムシ博士こと堀川大樹さんのブログですね。記憶と違って具体的な数字部分は当時引用していませんでしたけど、以下がその部分です。

　引用部には「製薬会社が行った追試」とありますので、ひょっとしたらさっきあった「がん研究や新薬開発の分野では(中略)さらに低くなる」と同じ結果を元にしているのかもしれません。

＜自然科学、とりわけ医学生物学系の多くの論文で再現性の無いことが問題になっている。製薬会社が行った追試では、実験結果が再現できなかった論文は70〜90%にまでのぼっているらしい＞
(再現性の無い研究論文を減らすにはどうすべきか - むしブロ　2013-10-26 堀川大樹ことクマムシ博士より)


●重要ながん研究論文の実験、再現性がなかったものが9割も

　下書きを書いた後に見つけた科学の危機に対する大人の対応 | Medエッジ(大人の国と子どもの国 西川伸一 THE CLUB　2015年9月3日 4:00 AM)という記事でも、データが載っていましたので追加します。

＜2013年にエコノミストの記事で指摘された、重要ながん研究論文の実験をアムジェンやバイエルなどの製薬会社が再現したところ、53論文のうち６編の結果しか再現が取れなかったという再現性の危機の問題があった＞

　「53論文のうち６編の結果しか再現が取れなかった」は、確率で言うと、11％。つまり、89％で再現性なしです。

　記事では、心理学的の研究の話もありました。なので、最初のと同じ研究かと思ったんですが、掲載誌が異なります。心理学分野の再現実験の結果が2015年８月28日号の有力科学誌サイエンス誌に掲載されたとされていました。

＜136人、125施設が参加した研究で、タイトルは「心理学の再現性を評価する（Estimating the reproducibility of psychological science）」だ。
　この研究では2011年から、心理学のトップジャーナル３誌の中に掲載された論文をなるべく先入観を排して検討し、最終的に100論文については計画通り再現実験を行い、論文の結果と比べている。(中略)
　結果はこれまで指摘されている通り、論文の結論を支持する結果が得られる率は全体で36％、特に社会心理学の実験になると23％～29％と、再現できる可能性の方が低いという結果だ＞

　なお、元記事のメインは、アメリカの提言と日本の提言の内容が全く異なるというもの。日本では、"小保方問題を構造と捉えず、事件とだけ捉え、倫理と研究機関のコンプライアンスだけに頼った薄っぺらい意見でしかなかった"と批判していました。

　ただ、さらっと「小保方問題」と言っているものの、作者の西川伸一さんは事件当時利理研の所属で、STAP細胞論文についてもアドバイスしていたんですよね…。実は当事者でもあるのです。


●再現性を調べる追試が少ないのは研究者に追試するメリットがないから

　以前の論文が不正だらけである理由 再現性をとる追試が行われないからというタイトルでもわかるように、こういった追試が全然されてこなかったため、再現性のない研究がなくなりません。再現性のない研究の中にはおそらく不正もあるでしょうから、研究不正がまかり通ってしまうとも言えます。

　では、なぜ追試がされないのか？と言うと、追試をしてもあまり評価されないためです。これは今回の最初の記事でも指摘しており、"「新発見」をする研究者のほうが、他人の発見を検証する人より注目されやすい"としていました。

　メリットがないから追試されないというわかりやすいものですが、それだけにこの課題は今後もなかなか解決されないものと予想されます。困った問題です。


【本文中でリンクした投稿】
　　■論文が不正だらけである理由 再現性をとる追試が行われないから

【関連投稿】
　　■研究不正は倫理教育では防げない 「教育する」では対策になっていない
　　■日本では最優秀の人は博士にならない 就職難で大学院進学を避ける傾向
　　■学術誌掲載論文でも信頼してはいけない STAP細胞とソーカル事件
　　■科学論文ニュースに注意！チョコレートダイエットの嘘に世界が騙される
　　■研究不正疑惑についての投稿まとめ