2018年10月9日火曜日

査読というシステムについて

先月に引き続き論文がconditional acceptになりました。日本の学歴同類婚について検討したもので、私は第二著者を務めております。

と言う話とは全然関係ないのですが、さしあたり私が抱く業績評価というか、査読のあり方について、色々ごちゃごちゃしていますが、書いておきます。こういうのに対する考えってコーホート差もあるし、自分も歳や経験を重ねるにつれ考えが変わるかもしれないので。

前提として、研究者というのは何をやっているかというと、既存研究をもとに、それぞれ関心のあるテーマについて、論理的な証明プロセスを経て、その主張を論証したり、新しい理論を提唱したり、分析結果から仮説を検証したりして知見を積み重ねていく、そういう世界に身を置いていると思っています。

いうなれば、研究とは1日にしてならないし、多くは単一のアカデミックコミュニティ(学界)に属しながら、巨人の肩の上に乗って研究しているわけです。アカデミックコミュニティは一つのディシプリンと対応していることが多く、例えば社会学であればアメリカ社会学会や日本社会学会でメインに活動することになります。なぜコミュニティに属する必要があるかというと、各分野によって蓄積されている研究や支持されている方法が異なるので、極端な話、考古学の論文を、考古学の論証プロセスで発表しても、社会学の人にはその価値がよくわからないからです。経済学の論文であれば多少は読めるでしょうが、なぜ経済学者が兎にも角にも内生性のことを指摘するのか、多くの社会学者はわからないでしょう(私もわかりません)。

ここまでは共通ルール。できれば研究に携わる全ての人が合意してほしい点。異なるのは、細則というか、実際にこのルールがどう運用されているかです。しかもややこしいことに、同じ分野でも国によって慣行が異なります。

例えば、日本の社会学では、査読付き論文はもっぱら日本語で、英語含めた外国で論文を書く人はまだ少ないと言っていいでしょう。最近知りましたが、査読論文よりも、依頼論文の方が格が上と考える世代もあるらしく、若手とは考えが違うのかなと思いますが、さしあたり慣行としてはまだ残っているようです。また、一般的に単行本を高く評価する傾向にあると聞きます。しかし、その単行本に査読があるかどうかは必要条件ではありません。

一方で、アメリカの社会学では基本的に英語の査読付き論文を出すことがテニュア(任期なし)教員への道になります。分野によっては、単行本を評価する傾向にある分野もありますが、英語の出版社は基本的に論文と同じような査読体制があります。

ということで、細則は分野によって異なるので、「勝手に自分の分野の常識を押し付けるな」ってことですね。わかる人にはこれでわかるでしょう。

私自身は、別に査読論文の方が内容的に優れているとは思いませんし、依頼論文には(特集を組んで雑誌の背表紙を残す以外の)機能があると思います。査読された論文も結局、読まれなければあまり意味はないのではないかと思うし(なので、私はポスト査読の賛同者です)、やはり査読を通すための「テクニック」みたいなのはあり、ゲームのように論文を書いてしまう人がいるかもしれません。査読は査読として弊害があるとは思いますが、それでも私は査読以外に論文の質を担保するベターな(ベストではなく)方法はないのかなと思います。

学界はコミュニティなので、大体誰がどんな研究をしているのかはわかります。本人がわからなくても、その人の指導教員と査読者が知り合いなんてことはままあるでしょう。そうなると、縁故が生じます。誰々の書いた論文だから通す、通さない、みたいな感じですね。そういう縁故を防ぐため、アカデミアでは基本的にdouble blindで査読が行われます。つまり、投稿者も査読者もお互いのことはわからないようになっているわけです。

実際には、double blindが機能しないことはままあります。例えば、査読に回って来た論文、よくよく読んでみると先日行った学会やセミナーの分析結果と同じだった、とか、このコメントできる人はこの人くらいしかない(とは行かないまでも数人に絞れる)なんてことはよくあります。ここで、「査読の弊害」を訴えることは簡単ですが、建前だけでも名前がわからないように査読することは縁故を防ぐためには必要だと思います。

もちろん、なおも粘って「査読なんて必要ない、もっと自由な議論を」と主張することは可能ですが、こういう主張をする人に対しては、私は研究論文の基礎に立ち戻ってもらいたいと思っています。つまり、論文とは論のある文なので、論理的なプロセスで主張を述べる必要があります。査読とは、編集者と筆者の間に第三者として入り、先行研究から問いの導出が論理的に行われているのか、使用するデータと方法は分析の問いを検討するのに妥当なものか、分析結果の解釈は論理的なのか、議論から示唆される今後の研究への示唆は妥当かといった点をチェックすることで、論文の質を高める役割を担っているわけです。一人で書いた論文より、建前上ではありながらも客観的な立場で判断する第三者がいた方が、いないよりは論文のクオリティチェックになると思いませんか?出版する前に知り合いにコメントをもらえばよい?確かにそれもできればいいですが、知り合いのコメントが、顔の見える関係だから批判的になれないことはありませんか?特に権力関係を伴っている場合は?依頼論文だって学会のシンポジウムがベースになっているので、事前査読の機能がある。確かに学会にそういう役割もあるかもしれませんが、シンポの参加者は誰も査読しようと思って報告を聞いているわけでもないし、分析の詳細を丹念に検討する余裕がありますか?査読しろと言うなら事務作業の量を減らせ。きっとテニュア教員の先生は学生の指導や学務、あるいは学会業務や審議会などでお忙しいとは思いますが、査読にかわる代替案はありますか?

細則が分野によって異なるのは仕方のないことだと思いますが(なぜ細則が違うかは長くなるので省略)、どのような細則を運用しているにしても、なんらかの形で査読を通した論文を公表することが望ましいと私は考えています。査読が嫌いな人にとっては査読は最悪のシステムかもしれません。私もその主張には賛同することはできます。しかし、それは査読以外のシステムを除いた場合に限ります。