Study on open peer review relieves common concerns

オープン査読という珍しい対象に関する研究成果により、オープン査読に対して持たれている一般的な懸念が和らぎました。学術雑誌がオープン査読を採用することにより、査読者が査読を控えたり、論文の採択の可否に影響がでたりはしない、というのは特筆すべき結果です。
同時に、Nature Communicationsに2019/1/18に掲載されたこの分析によると、オープン査読においても査読者は匿名を希望すること、また、一般的な査読プロセスの場合と査読にかかる時間はそれほど変わらないことも分かりました。
なおオープン査読とはここで、論文とともに査読結果が公開される査読方式のことを言います。

「査読をオープンに出版することの意義は、透明性や説明責任の観点から、極めて明確と思います」と、2017年にオープン査読に関する調査をしたオーストリアのグラーツ工科大学の情報科学者Tony Ross-Hellauer氏は述べます。「査読を公開することに対する疑念を取り除く上で、この分析はとても良かったと思います」。

F1000ResearchやPeerJなどの雑誌は過去数年、オープン査読を一定程度採用してきました。
分析では、オープン査読を採用する5つの学術雑誌を分析対象としました。これら学術雑誌はエルゼビア社より出版されており、エルゼビア社は今回の分析結果を受け、他の雑誌にもオープン査読を適用するかを検討すると述べています。

オープン査読に対する懸念を吟味する

査読を公開することにより、査読プロセスがいろいろな面で妥協をみる可能性が一般に懸念されています。たとえば、査読を引き受ける研究者が減る可能性が懸念されています。また、通常の査読より査読に時間がかかる可能性も指摘されています。査読者が研究に対してよりマイルドとなり、論文採択を選ぶ可能性が高いからです〔つまり、採択できるように何回も査読と修正の繰り返すから、時間がかかるということか？訳者注〕。この研究では、これら懸念の検証を試みました。

この分析では、エルゼビア社のオープン査読を取り入れている5つの学術雑誌に2010～2017年に投稿された9000の論文に対する18,000の査読を調べました。この期間の途中で、オープン査読に切り替えた学術雑誌もあります―学術雑誌の査読方式が変わったときの変化を調べることのできる貴重な機会です。パイロット的にオープン査読を導入した雑誌もあり、査読者名を明記するオプションを提供する場合もありました。

この分析では、これら対象となったオープン査読の査読内容を、同一の5つの学術雑誌に対して行われた旧来型の非公開の査読内容と比較しました。また、研究者が査読を引き受ける率が変わるかを比較しました。

興味深い発見

この分析については、興味深い発見が得られました。査読が公開される、されないにかかわらず、研究者は査読を引き受けることが分かりました。また、オープン査読であってもなくても、査読者の論文採択可否の判断に違いは生まれませんでした。

オープン査読において自分の名前を明記することとしたのは、査読者の8％のみでした。この分析の共著者であるミラノ大学の社会学者Flaminio Squazzoni氏によると、査読者が自身の名前を明記するのは、査読によるフィードバックがポジティブな場合が多かったそうです。Squazzoni氏は、学術雑誌がオープン査読を導入する場合でも、査読者名は匿名のままの方が良いだろうとしています。
この見方は、2017年のRoss-Hellauer氏の調査結果と方向性を一にします。この2017年の調査では、世界3000名の研究者に対して、オープン査読についてアンケートをしました。回答者の多くが、オープン査読が主流となるべき、しかし査読者を匿名のままとして、と回答しました。
米国科学アカデミーのMarcia McNutt会長は、この結果は納得できるとしています。「査読方式に関するさまざまな試行において、問題がもっとも多く生じたのは、査読者名がエディターを超えて、論文著者やその他の主体に明かされた場合です」と彼女は指摘しました。「査読者名を明記する方法でオープン査読を試行した学術雑誌は、研究者が査読を引き受けたがらない、あるいは、査読の質の面で残念な結果を得ています」。

良いニュース？

今回の分析によると、オープン査読に切り替えてもマイナスの効果はないということですが、しかし切り替えたからといって査読プロセスの改善につながるというわけでもないとSquazzoni氏は指摘します。
このため、オープン査読に切り替えることを考えること以上に、まずは、研究者に査読に参加してもらうためのインセンティブを提供することを考えるべきと、同氏は提案しています。
昨年11,000人の研究者を対象になされた査読状況に関するアンケートにおいて、研究者間において「査読疲れ（reviewer fatigue）」がみられ、エディターが査読者を確保するのに、より多くの研究者に査読を打診しなくてはいけなくなっていることが判明しています。

[Nature] (2019.2.15)
Rare trial of open peer review allays common concerns

オープン査読は、査読プロセスの透明化の観点から模索されています。査読自体は、当該分野の学術の質維持の根幹をなすものですが、一方で査読者名が論文著者には明かされないことから、不適切に思われる査読が戻ってきたときに、「この査読者は本当にこの研究内容を理解しているのか？」、「この査読者は研究面で競合相手で、いちゃもんをつけて時間稼ぎをしようとしているのではないか」などといった疑念を論文著者の側に生みます。同時に査読者側にとっても、査読を依頼されるということは当該分野の質維持に関わっているという証でもあり、相当の時間と労力を割いているにもかかわらず、査読の匿名性により、その仕事が研究コミュニティからも所属機関からも評価されない、という不毛感があります。

オープン査読はこうした、伝統的な匿名かつ非公開の査読システムの不合理な側面の解消として模索されているわけですが、一方で、これまでの査読は、匿名であるからこそ忌憚のない指摘ができるという考え方のもとに発展してきているため、簡単にはオープン査読に転換しそうにありません。しかし近年、たとえば新聞記事等へのコメントや各種サービスへのクチコミというかたちで個人が意見を寄せ、ネット上で意見交換や意見形成がなされるというのが当たり前になってきたことから、そうしたら軽い感じの査読も、特に若い研究者を中心に、受け入れられていく可能性があります。この記事に言及のあるF1000ResearchやPeerJは、論文がオープンアクセスなだけでなく、査読者と論文著者との間の（査読を含む）コミュニケーションがオープンに掲載されるプラットフォーム上で運営されています。

今回紹介した記事の最後の方にも言及があるように、査読プロセスでより大きな問題となっているのは、査読負担の問題です。論文投稿が主に中国やインドなどの〔学術面で〕発展途上の国々から大きく伸び、世界の論文投稿数が年2.6%の率で拡大している一方で、査読する研究者は米英日独加豪などの主要国によりこなされているため、これら主要国における査読負担が甚大なものとなっています。このため、査読依頼をされても引き受ける率が年々下がっています。2013年には54％程度であった査読引き受け率が2017年には44％ぐらいまでに落ち込んでいます。査読完了率は、52％から42％程度に落ち込んでいます。一論文あたりの査読者数は学術雑誌ごとに決まっていますから、査読辞退者が増えるということは、エディターからの査読依頼数が拡大しているということです。実際、エディターの75％が、「査読をできる人を探し出し、査読を引き受けさせることがエディター業務のなかで最もつらい仕事（hardest part of the job）」であると回答しています。

以下のNature誌の記事には、国別の論文投稿数と査読数の棒グラフがあるのですが、米国や英国は論文投稿数の倍以上、査読をしているのに対して、中国やインドは論文投稿数の方が査読数より多いです。インドについては論文投稿数が査読数の倍ぐらいあります。ちなみに、日独加豪は、倍とまではいかないものの、1.3～1.7倍程度、査読数の方が論文投稿数より多いです。

このような現状から、査読負荷を国横断的に平滑化させた方がよいという指摘があります。実際、〔学術面で〕発展途上の国の方が査読依頼を受けた場合に引き受ける確率が高いそうです。他方、査読したレポートの文字数を比較すると、主要国の527.5ワードに比べて、これらの国の文字数は半分程度の249.9ワードで、査読内容が十分であるかについて疑問がもたれているようです。

ちなみに日本は、このNature誌の記事のもととなったPublonsの調査報告において、学術主要国と位置づけられているのですが、査読文字数については320ワード程度で少なめです。ただし日本は査読完了率が7割強、また査読に要する日数が十数日程度で、両指標において調査対象国中ダントツの一位です。

このPublonsの報告書、なかなか面白いので、よろしければ見てみて下さい。

[Nature] (2018.9.7)
Peer reviewers unmasked: largest global survey reveals trends

Publons, "2018 Global State of Peer Review"（報告書PDF）

いずれにしても、学術の質維持の根幹をなしていたはずの査読という仕組みが、高等教育のマス化に伴う研究者人口の急拡大により、揺らぎだしているということのように思います。
もともとは研究者人口が少なく、かつ、これら研究者が一生の間に出版する論文数も少なく、こうした厳選した研究成果が、その分野の選りすぐりの専門家によりじっくりと、査読というプロセスを経て吟味され、高品質の学術成果の積み上げにつながっていたのだと思います。それに対して、科学技術の発展とともに、研究者人口が急拡大し、研究者の水準もまちまちとなり、さらに論文執筆圧力により一研究者が執筆する論文数も急速に拡大し、論文の質の低下とまでは言わないまでも、論文一本のもつ重みはやはり軽くなった。このような肥大化した玉石混淆の論文のマスプロダクションにより、学術コミュニティにおいて学術の質維持のコントロールが効かなくなくなった。さらに学問分野の拡大とともに、研究テーマの細分化とタコツボ化がおき、こうした新興の研究テーマにおいては学術コミュニティが十分に形成されず、学術コミュニティとしての規律や団結力、質の維持を求める力が働かない状況となっているように思います。

こうした学術のあり方の歪みに対して、旧来のような少数精鋭による学術システムを求めても、科学技術力が国力を決めると思われている現状においては難しいと思われるので、研究成果のマスプロダクションを前提とした質の維持の方法を考案する必要が生まれているのだろうと思います。そうした、科学技術の現状に適した査読システムを求めて、オープン査読であったり、論文出版後査読（post publication peer review）であったり、SNS等によるAltmetricsであったりが試行されているわけですが、なかなか決め手がないようですね。
こうした試行が、出版社などの学術情報流通関係者や政策担当者中心に検討されていて、学術コミュニティ自らが学術の建て直しを真剣に検討しようとしていない、あるいは学術コミュニティという概念自体が希薄化していることにも問題があるように感じます。

船守美穂