構造的問題としての再現性の欠如

8年越しのCancer paper reproducibility projectの総括が出たようです。  これはeLifeを発表プラットフォームにして開始されたプロジェクトで、約10年ほど前に出版されたがん研究関連の50本ほどのハイインパクト論文の再現性を検討するというプロジェクトですが、eLifeでの報告をScineceとNatureがフロントページでカバーしているのを目にしました。

　予想はしていましたけれど、ハイインパクト論文の出版が研究者のキャリアも研究費も生活を決定するアカデミアの研究業界で、こういう結果が出るのは、当然だと思います。これは氷山の一角で、この業界の出世システムを知っている研究者なら、他人の論文のデータには（再現性がないという意味で）ウソがかなりの率で混じっているというのは常識でしょう。また、自己顕示欲が強く、自分の利益のためには原則を捻じ曲げるのに何のためらいもない人間は全人口の数%ぐらいの高頻度でいます。国会で100回以上ウソをつきまくった二代前のどこかの国の総理大臣とか、あまりにウソがひどいのでSNSから締め出された前大統領とかのような自己愛性異常性格者が有名研究者である場合も少なくありません。そうした性向をもつ研究者が意図的に行うデータ操作によって再現性がないデータが一流紙に発表されるような例だけでもかなりあるだろうと思われます。加えて、データを操作する意図はなくとも、結果を都合の良いように過大評価したり、見栄えのするデータだけを採用したりする「厳密性の欠如」によって結果が歪んでしまうような場合などを加えると、かなりの例で論文にはウソが混じっていると考えられます。

　この記事でコメントした複数の人が、この再現性の悪さは衝撃的だが、「予想外ではない」というなコメントをしています。これは、科学実験というものの性質に起因する問題に加えて、ポジティブでインパクトのある結果を得ることに対する研究者自身の強い志向性がデータに反映することを皆が知っているからでしょう。科学的に厳密であることにはコストと時間がかかり、「インパクトのある論文をできるだけ低コストで数多く出版すること」を第一の目標とするアカデミアの研究者の利益にしばしば相反します。「結果主義」、「論文至上主義」によって研究者の評価がなされているアカデミアの構造が研究不正や厳密性の低下を生み、再現性の乏しい論文につながっていると思います。

　また、Natureをはじめとする商業誌は、高い読者数を維持して広告料を集め、ビジネスを発展させる上で、ハイインパクトの論文、つまりより多くの人を「あっ」と驚かせるような論文を載せたいというインセンティブがあり、研究者の方にもNatureなどの一流誌といわれる雑誌に出版したいというモチベーションがあるので、「本当だったらすごい話」が選択的これらの雑誌に採用された挙句、やっぱりそんなすごい話がゴロゴロ転がっているわけがない、というオチになるのだと思います。つまり、この問題は研究者個人の問題である以上に研究業界の構造的問題です。残念ながら、こうした問題に対して雑誌や研究費を出す側や研究所は、研究者への規制や罰則を強めるという非常に近視眼的な対症療法に飛びつきます。直接の実行犯の研究者を責めるのが一番簡単だからでしょう。しかし、厳密な研究を行って正直なネガティブ データを出してもポジションや生活が守られるなら、研究者が「本当ならすごいけど、じつは怪しい話」を発表しようとするモチベーションはもっと低くなるでしょう。怪しいデータがこれほど多く一流誌に掲載されるという現象を引き起こしているメカニズムは業界の論文第一主義であって、これに対する根治治療をしないと、この問題は永遠になくならないと思います。

Natureのフロントページから一部。

Half of top cancer studies fail high-profile reproducibility effort

基礎がん研究においてハイインパクト論文の結果の再現性を検討するための2億円と8年間をかけた試みが、不穏な結果となった。評価された実験の半分以下しか再現性は確認できなかった。このプロジェクトは、これまでに行われた最も厳密な再現性研究の1つであり、曖昧な研究プロトコルや非協力的な著者などのハードルによって、この取り組みは5年遅れ、当初の検討論文の半分しか検討できなかった。

　協力体制の欠如と、実験開始後のプロトコルの変更や見直しの必要性が、大きな負担となった。平均して、1つの研究を再現するのに197週間を要した。さらに、1回の実験にかかる費用は53,000ドルに上り、これはチームが当初割り当てた金額の約2倍にあたる。、、、
　分析によると、再現実験を試みたうちの46%だけが、オリジナルの発見を確認することができた。また、平均して、当初の報告より85%も小さい効果しか観察されなかった。、、、
　RPCBのプロジェクトリーダーであり、Center for Open Scienceの研究ディレクターであるTim Erringtonは、「本当の問題は、ノイズの中からシグナルを見つけ出すために費やされる時間、費用、労力だ」と言う。、、、

というわけで、再現性の検討に2億円と8年の月日をかけた研究成果、当初の報告の半分未満しか再現できず、しかも再現できたものでもその効果は当初の論文の主張のたったの15%しかなかったという結果。ただし、これらの再現性のない論文の筆頭著者や責任著者はこれらをネタにポジションを得たりグラントを獲得したりしたでしょうから、彼らにとっては意味があったわけです。

　一流雑誌に載るようながん研究プロジェクトは一本に、数年の期間と数千万円のコストはかかっているでしょう。50本のハイインパクト論文を出版するのに10億円として、その再現実験に2億円、結果、相当な数で再現性が確認できなかった、という結果を、一般の人がみれば、やらない方がましと判断されるかも知れません。

なんとなく、デジャビュを覚えると思ったら、アベノマスクでした。500億かけて役立たずのマスクを用意して、満足に配布もできず、使用もされず、大量の在庫が出たら、その保管料に年に6億、あげくに20億かけて検査をしたら15%が不良品、で結局廃棄。国民からすれば、無駄遣いの上に無駄遣いを重ねた愚策中の愚策でしたが、その数百億のかなりの部分を中抜きした縁故業者にとっては十分目的は果たせたというわけです。