博論輪読セミナー第2回

今日の授業は前回に引き続き、私が指名した卒業生の博論に触れる回だった。この授業ではまず博論を読み（先週）、その後に博論が元になった（あるいはlitになる前にすでに出版された）論文の査読過程をレビューする（今週）。卒業生が寛大にも自分が投稿したときの原稿、レビュアーからのコメント、改稿、改稿へのコメント、など出版に至るまでのドキュメントを全て共有してくれることで、この授業は成り立っている。

前回も述べたように、この卒業生の博論の一章はアメリカの社会学でトップジャーナルとされる雑誌に掲載されたもので、この雑誌への掲載率は4-5％と非常に狭き門である。そのような雑誌に掲載された論文なのだから、さぞかし最初の原稿から洗練されているのだろうと思っていた。

予想は若干異なった。

まず、レビュワーのコメントを読む前に、最初の提出原稿を2度ほどよみ、コメントをつけていく、イントロが長い、投入する共変量への説明がない、レビューが薄いところがある、色々とコメントはあった。その後にレビュワーのコメントを読むと、同じようなところに言及しており、やはり誰が読んでも物足りないと思うところは変わらないのだと思った。もちろん、レビュワーのコメントの方が非常にクリティカルで（とはいえそのレビューを経ても先週色々批判されたわけだが）、これらのコメントを踏まえて改稿した原稿は、ほぼ完成原稿に近かった。2度目のレビューで新しく査読者が入ったり、元々の査読者が突如として奇抜なことを言って結果のプレゼンテーションなどが変わっていたりしたが、コアな部分は最初の改稿でおおよそ済ませたことがよくわかった。

最初の原稿は私の目から見ても改善の余地が大きそうで、それは完成原稿を見ているからそういうコメントになるのかもしれないが、一方で完璧な原稿ではなくてもトップジャーナルからR&Rをもらえるのだと思うと、少し勇気づけられた気がする。

レビュワーのコメントに私が個人的に首肯しないところがあったり、その人がレビュワーの従った結果、セミナーで先生に批判されたところもある。というわけで、一つの学びとしては、間違った指摘は間違っているとちゃんというべきなのだろうなと（当たり前に聞こえるかもしれないが）思った。ただ、レビュワーの指摘が間違っている場合は、きちんとその理由を示さないといけない（当たり前だが）。ただ、トップジャーナルでR&Rにもなって、しかもジョブマーケット前の学生という立場となると、面従腹背アプローチの方がセーフティに思えてしまうのも無理はないというコメントもあり、これは確かにそうだなと思った。この人は実際にジョブマーケット前にトップジャーナルへの掲載を実現し、トップスクールへの就職を成し遂げているので、色々論文へのコメントはあるが、結果としては成功しているのだろう。

論文を読みながら、いくつか行っている分析でサンプルサイズがありえない程度に違うところを見つけた、再度確認すると博論でも変わっていなかったので、おそらく最終的に出版されたものでもその怪しさは残ったままなのだろう。一瞬再現できるか試してみてコメンタリーでもかこうかと思ったが、労多し益少なしなので諦めた。その延長で、セミナーでは経済学のジャーナルなどでdata editor、あるいはハーバードのIQSSが論文提出前の分析結果のチェックを行ってくれるという話を取り上げた。大学間で格差が生じないようにするためには、威信の高いジャーナルはdata editorを用意して、アクセプトされた論文の再現性はチェックした方がいい気がする。もちろん、そうするとさらにコストがかかるわけで、投稿料や掲載料が上がるのかもしれない。それでも、分析結果の透明は非常に大切だと思う。

日本で細かく分析するカルチャーに育ったところがあり、話の大きさよりも分析の緻密さが大切だと思った時期にないとはいえない。しかし、アメリカの大学院に来て感じるのは、まず論文を評価する軸は、問いの大きさであり、その問いを明らかにすることで既存研究にどういう貢献ができたかというところがまず先に来る、それは手法に関係ない。

適切なデータを選ぶことも非常に重要だが、分析手法がベストではなくても、（アメリカの）トップジャーナルのR&Rは難しくない気はする、というより変にこだわりすぎる必要はないと思う。一つにはレビュワーがどの手法がベストかに関して異なる意見を持っているので、結局多かれ少なかれ指示に従っていじる必要があるから、という実際上の理由もある。もちろん、手法次第によってサブスタンティブな結果が変わったりすることもあり、その場合はレビュワーのコメントはかなりクリティカルになるだろう。

やや難しいのは、メソッドはコンテクストフリーなところがあるので、日本でトレーニングしていてもアップデートは難しくないとは思うのだが、既存研究で何が抜けていて、その中で何を今埋めるとレバレッジが相対的に大きいのか、というのはかなりコンテクストに依存する気がしている。こう言った部分を手っ取り早く、日常のインタラクションの範囲で把握するためには、アメリカの博士課程に進学するのが最も手早いことは、想像に難くない。