データの再現性について（88888888888問題）

と書くほどのことでもないのですが、友人から経済学者に社会学者の論文が叩かれているという話を聞いて、中身をみてみました。

どうやら、ASRに2009年に載った論文が、ちょっととんでもないミスをして、同じデータで再分析した人がASRの最新号で、再現性について疑義を呈したコメントを行い、元論文の著者からリプライが来たようです。

当の論文の執筆者はメリーランド大学（出版当時はイリノイ州立大学シカゴ校）のCedric Herring氏。Herring氏は職場の多様性（ジェンダー、人種etc.）と企業のパフォーマンスの関係について長く研究をされており、今回議論に上がった論文は、社会学のフラッグシップ・ジャーナルであるASRに掲載された、同様の趣旨のもの。

Does Diversity Pay?: Race, Gender, and the Business Case for Diversity

この論文では、企業の収益に関するデータを用いて、「多様性のある企業では収益が高い」ことを計量分析によって示しています。当論文のインパクトは小さくなく、google scholarでの引用回数は537回となっており、ASRに掲載されている論文の中でも、比較的引用回数が多いものと考えられます。

しかし、ASR最新号において、アムステルダム大学の3人（Dragana Stojmenovska, Thijs Bol, and Thomas Leopold）がHerring氏と同じデータを用いて論文の分析結果に疑義を呈しています。

Does Diversity Pay? A Replication of Herring (2009)

3人がいくら分析しても、Herring氏の出した回帰分析のモデルとはサンプルサイズが合わないらしい。というのも、Herring氏では収益の無回答ケースの欠損値（88,888,888,888）と顧客数の欠損値（888,888）をそのまま入れてたというオチ（！）。

その他にも、3人はデータのハンドリングのミスについて、複数の可能性を指摘していますが、Herring自身のリプライでは上記の無回答ケースのミスのみが認められています。

Is diversity still a Good thing?

さて、だんだんとヤバい臭いがしてきました。ちなみに3人の分析では、同じデータを用いて適切に欠損値処理が行われており、この分析結果によると、Herringが2009年の論文で示した8つの仮説のうち「7つ」が支持されないということです。

Herringはこのミスを認め（ちなみに、元論文では片側検定の結果を示していたらしい）、さらには欠損値について多重代入法を用いた上で再分析をしており、2017年のリプライ論文ではこの結果を示しています。その上で、いくつかの仮説は（統計的有意性はかなり微妙なものも散見されるが）支持されるとしています。

友人に教えられた経済学関係者が集うフォーラムの掲示板では、一連の問題から、社会学に対する批判が乱発しています。

個人的にはこの問題、ASR側がreplication用のデータやコードの提供を要求していなかったために生じたのではないかと考えます（＋査読者がヌルかった）。おそらく、ASRでは何処かのタイミングで、分析用のデータ提供を求めるようになったのではないかと思います（と思ったがガイドラインを見る限りその手の記述は見当たらない）。

この手のミスが、この（replication用のシンタックスやコードの提供をするのが当たり前になりつつある）タイミングで指摘されたことが、経済学者からは社会学者の計量分析は遅れているというイメージを与えることになったのかもしれません。ただ、社会学の国際誌ではデータの再現性を重視して、データや分析に用いたコードの提供を求めるものも増えているのではないかと思います。

論文で犯されたミスにかなりインパクトがあるため（日本のデータではdon't know系の欠損値は9や99、非該当が8や88に振られます。そのあたり、海外のデータではどうなっているか分かりませんが、仮にDKに8や88が振られることはあるとしても、88,888,888,888というのには爆笑してしまいます）、今後、データの再現性を訴える時の例として用いられるかもしれません。