HARKingはなぜ研究不正と言われるのか
日本経済新聞において、「科学にはびこる「不適切な研究」 影響は機能性食品にも」という題目で研究不正に関する記事が公開され、一時研究者の間で話題となっていました(1)。研究者のコミュニティにおいて、研究不正の問題についてはたびたび議論が起きています。データの捏造や改ざんなどの明らかな不正行為は、ほぼすべての研究者がやってはいけないことだと認識している一方で、p-hackingなどの統計分析上の不適切な行為については（一部の領域では慣習的に行われてきたということもあり）重大な不正行為であるというような認識は薄い場合もあるようです(2)。
特に、本稿で解説するHypothesizing After Results are Known、HARKingと呼ばれる行為については研究者の中にもなぜ近年不正行為と言われるようになったのか疑問を感じている方も多いようです。HARKingは、一見すると自然科学の自然なプロセスであるかのように見えますが、その背景にどのような問題が存在するのかを考えていきたいと思います。
HARKingとはどのような行為を指すのか
字義的には、Hypothesizing After Results are Knownの表す通り、「結果が得られた後に仮説を立てる」ことを指しています。この点も誤解の多い点なのですが、HARKingの問題は「結果が得られた後に仮説を立てる」ことそのものではありません。より正確にいうのであれば、「結果が得られた後に仮説を立てて、その結果をそのまま結論とすること」をHARKingと呼んでいるのです。
「結果が得られた後に仮説を立てる」ことそのものは、冒頭にも述べたように自然科学の自然なプロセスです。基本的に自然科学においてはなんらかの現象というものが先に存在していて、その現象の理論的な説明であったり、なんらかの応用を考えたりしています。我々が重力の影響を考える以前から物体には重力が働いており、経済の理論を考える前から人間の消費行動は存在していたはずです。現象の観測から仮説を立てることが許されないのであれば、自然科学が立ち行かなくなる、という指摘はもっともであると感じます。
ではHARKingにおいて問題視されているのがどのような行為であるかというと、観測から仮説を立てて、その同じ観測のデータから、なんらかの結論を主張する、というような行為を示しています。これは先ほどの自然科学の自然なプロセスとは似て非なる状態です。例えば、ある日雨の日に研究者があなたの家にやってきて、室内に干されている洗濯物を観測したとします。この研究者が、「あなたの家では洗濯物を室内に干すのだな」と結論したらどう感じるでしょうか。もちろん天気によらず洗濯物を室内に干す方もいるでしょうが、雨が降っていたから室内に干していたのであって普段は外に干している、という人も一定数いるでしょう。研究者が結論を出すのは、別の日に何度か洗濯物がどこに干されているかを確認してからの方が適切であると感じるのではないでしょうか。
HARKingはなにが問題なのか
雨の日に来た研究者の例はやや極端でしたが、HARKingの問題点は共通しています。ある時点で観測されたデータというのは、様々なノイズを含んでいます。ノイズは天気のような環境の変動であったり、装置の測定誤差であったり、実験者のヒューマンエラーであったり、被験者（被検体）の特性であったり、様々です。このような状態で特定の仮説をもたずに探索的にデータを検討した場合、データの変動を説明しうるような新しい「仮説」はいくらでも考えることができます。室内に洗濯物を干したのは、その人がいつでも洗濯物を室内に干すからかもしれませんし、雨が降っていたからかもしれません。仕事が忙しく、日中に洗濯機を回すことができないので夜に回して室内に干していることも考えられるでしょう。あるいは、ただ単純に気まぐれで室内に干したのかもしれません。
多くの自然科学の分野で、得られたデータを統計的に解析することで、注目したデータ間の関係性について統計的に意味が有るのかを検討します。しかし、こうした統計的解析とは得られたデータから未知の（真の）データ間の関連を「推定」するものであり、当然ではありますが誤った結論をだしてしまうこともあります。いくつものデータ間の関係性に関する「仮説」を検討した後に、「たまたま」統計的に意味が有ると判定された関係性を結論として主張してしまうことは、統計的解析の結果が誤った結論である可能性を増加させてしまいます。そして、こうした研究が積み重なっていけば、一体どれだけの研究が正しい結果を主張しているのかについてなにもわからなくなってしまいます。これがHARKingの問題点と言えるでしょう。
HARKingを行わないためにどうすればよいのか
繰り返しになりますが、「結果が得られた後に仮説を立てる」そのものは大きな問題ではありません。結果から新たな仮説を立てたのであれば、その仮説を別のデータで検証すれば、「たまたま偶然」その仮説が成立する確率は、もともと統計的解析において許容している水準まで落とすことができます（もちろん、それでも0にはなりませんが）。
多くの場合、仮説を生成するためのデータと仮説を検証するためのデータを別々にとることは時間もコストもかかります。場合によっては、それが不可能であることもあるでしょう。そのような場合には、探索的に仮説を生成するためのデータだと割り切って、統計的な解析も行わない（データの視覚化などから検討を行う）というのも1つの手であると思います。
まとめ
しばしば話題となる統計に関する研究不正行為のうち、今回は少しイメージがしづらいHARKingを解説させていただきました。「結果が得られた後に仮説を立てる」ことをすべてダメだと捉えられると反発も大きいところですが、「結果が得られた後に仮説を立てて、その結果をそのまま結論とすること」と捉えると問題点もわかりやすくなったのではないでしょうか。
製品の効果検証にかかわることも多いセンタンでは、このような結果の再現性にかかわる部分についても留意しながら、真摯にクライアント様とコミュニケーションを取らせていただいています。研究・開発支援（受託研究）や生体データの利活用支援など様々な課題解決のサポート実績がございますので、興味を持たれた方がいらっしゃいましたら、どうぞお気軽にお問合せください。
引用文献
- 「科学にはびこる「不適切な研究」 影響は機能性食品にも」 日本経済新聞 2024年4月13日 https://www.nikkei.com/article/DGXZQOUC297890Z20C24A3000000/
- Chambers, C. （2017）. The seven deadly sins of psychology: A manifesto for reforming the culture of scientific practice. Princeton University Press.（チェインバー ズ, C. 大塚紳一郎（訳）（2019）. 心理学の 7 つの大 罪―真の科学であるために私たちがすべきこと みすず書房）
● 引用・転載について
- 当コンテンツの著作権は、株式会社センタンに帰属します。
- 引用・転載の可否は内容によりますので、こちらまで、引用・転載範囲、用途・目的、掲載メディアをご連絡ください。追って担当者よりご連絡いたします。
● 免責事項
- 当コンテンツは、正確な情報を提供するよう努めておりますが、掲載された情報の正確性・有用性・完全性その他に対して保証するものではありません。万一、コンテンツのご利用により何らかの損害が発生した場合であっても、当社およびその関連会社は一切の責任を負いかねます。
- 当社は、予告なしに、コンテンツやURLの変更または削除することがあり、また、本サイトの運営を中断または中止することがあります。