Lancet introduces data scientist into peer review

先日、プレプリントの最新の動向紹介にて、正規の学術雑誌においてもCOVID-19関連の論文が取り下げられているという事例を紹介しましたが、その事例から、研究データの扱いに関わる、新たなジャーナルポリシーが生まれました。

2020年6月、医学分野の2大有名誌Lancet誌とNew England Journal of Medicine誌（NEJM）は、ハーバード大学Mehra教授チームの論文を取り下げました。これら論文のデータ解析に使用されたSurgisphere社のDBに不審な点が認められた上、再検証をしようとしたところ、データへのアクセスが同社にしかなく、検証不能であったことによります。

再発防止を念頭に、Lancet誌が2020年9月18日に打ち出したジャーナルポリシーは、以下の通りです。なお、このポリシーは、発表と同時に施行されています。

1）著者によるデータ確認の宣言
論文の共著者のうち、複数名が、データに直にアクセスし、確認したことを証明する、宣言文への署名を求めます。また、そのようにデータに直にアクセスし、確認した著者（以下、データ確認著者）の名前が貢献者欄（contributors' statement）に記載されることを求めます。更に、産学連携による論文の場合は、データ確認著者のうち1名は、アカデミアの者でなければいけません。
加えて、同宣言は、共著者全員がデータへのフルアクセスを有していたことと、論文投稿に関わる責任を負うことを、全員の署名により、証明する必要があります。

2）掲載論文に対するデータ共有宣言
これまで臨床試験の結果を報告する論文については、国際医学雑誌編集者会議（International Committee of Medical Journal Editors, ICMJE）により、データ共有宣言（data-sharing statement）が求められてきました。Lancet誌では以後、研究の手法にかかわらず、全ての論文について、データ共有宣言を求めます。同宣言においては、どのようなデータが共有されるか、その他の付属文書（たとえば、研究プロトコル）の共有の有無、共有開始の時期、データ共有の基準などが要求されます。このデータ共有宣言は、論文採択の判断において、考慮に入れられます。

3）解析データに対する査読
Lancet誌は以後、現実世界の大規模データセットに基づく論文について、追加的な査読要件を課します。査読者のうち一人は最低、論文が対象とするデータセットについての詳細を知っており、論文のリサーチクエスチョンにおける当該データセットの強みと限界についてコメントできる必要があります。また、とても大規模なデータセットについては、統計に関わる査読（statistical peer review）に加え、データサイエンスの専門家による査読を要求します。更に、査読者たちに対して明示的に、査読している論文において研究公正や研究倫理の観点から問題がないかを確認します。

このジャーナルポリシーは、Lancet誌の姉妹誌20点余りにも適用されます。
なお、NEJM誌はこのようなポリシー変更の発表はしていませんが、以前、ニューヨークタイムズ紙の取材に対して、「このような論文は、絶対掲載されるべきではなかった。このような問題を見抜くような査読者に依頼すべきだった」と語っています。

[The Lancet] (2020.9.17) Learning from a retraction

[Science] (2020.9.18)
COVID-19 data scandal prompts tweaks to elite journal's review process

[mihoチャネル] (2020.9.5) 変わりゆくプレプリントの機能

―― 論文撤回の背景

この2大医学系雑誌による論文の取り下げは、大きな騒ぎをもたらしました。

論文が5月後半に掲載された際、同論文は、クロロキンあるいはヒドロキシクロロキンを服用した新型コロナウィルス感染者は、心拍に異常を呈し、病院で亡くなる確率が高いという結果を報告しました。このため、発表数日以内に、大規模な医薬品のランダム化試験は、世界各国において、試験を急停止しました。たとえば、WHOは、COVID-19治療法の大規模試験において、ヒドロキシクロロキンの試験を担当する者のリクルーティングを取りやめました。

しかし、同論文は掲載数日以内に、多くの批判の指摘を受けました。
同論文はデータ解析に、世界6大陸にまたがる700近くの病院の患者データ9.6万人分という、極めて大規模なデータセットが用いていましたが、世界のほとんど誰もがそれまで、そのようなデータセットの存在を知りませんでした。しかも、このデータには多くの不審な点が見られました。患者データのほぼ全てに、人種のデータが付されていました。世界からのデータセットで、変数のほとんどについてデータが完備されているということは、ほぼありえません。喫煙率および高血圧症は、大陸による差がほとんど見られませんでした。データセット上の患者の66％が北米出身であったにも関わらず、服薬量は、アメリカ食品医薬品局の基準値を上回っていました。アフリカ大陸については、患者4402名、死者561名というデータでしたが、アフリカにおいて、このような詳細なデータが記録されていたとは、到底考えられません。オーストラリアについては、公式記録以上の死者数が記載されていました。

このデータセットを作成したとされるSurgisphere社の存在も怪しげでした。ホームページに、データ提供を得た病院のリストすら掲載されておらず、LinkedInにおける社員数はたったの5名。しかも医薬関連のバックグラウンドの者はおらず、問題が明るみに出ると、LinkedIn上の社員数は、3名に減りました。

Mehra教授は、この騒ぎの間、ほぼ沈黙を保ち、「Surgisphere社と独立した再検証を試みている」とのアナウンスをした程度でした。しかし最終的には、同データへのアクセスができず、再検証ができなかったと発表しました。これを受けて、Surgisphere社のデータセットを利用したという論文は、両誌から取り下げられました。

[Science] (2020.6.2)
A mysterious company's coronavirus papers in top medical journals may be unraveling

―― 査読はこのような論文を防げなかったのか

NEJM誌のKassirer前編集長は、論文取下げ直後の6月に、ニューヨークタイムズ紙からの取材に対して、「これは〔学術雑誌の信用を失墜させる〕、非常に重大ミスだ」と発言しています。Rubin現編集長は、「このような論文は、掲載すべきでなかった」としています。「この問題に気づく査読者を含めておくべきだった」とも言っています。

Lancet誌のHorton編集長は、取り下げられた論文のことを「捏造（fabrication）」かつ「歴史的な詐欺事件」であると表現しています。しかし、査読は研究の質を保証するためのものであっても、不正を見抜くためであったことは一度もない、とも言っています。このため、意図的に欺こうとする著者は、容易に査読をすり抜けるとも言っています。

査読は論文の質を保証すべきですが、新型コロナウィルス感染症が勃発してから、論文を迅速に査読する必要性が今まで以上に高まっています。Lancet誌は今までの3倍の論文投稿、NEJM誌は毎日200以上の投稿を得ています。論文投稿から出版まで、これまでは数ヶ月から1年がかりだったのに対して、今では論文の重要性によっては、査読が48時間以内になされ、論文投稿から20日以内に掲載となる場合もあります。

新型コロナウィルス感染症が拡がる以前から、学術界においては「査読疲れ」が指摘され、学術システムの制度疲労が指摘されていましたが、COVID-19関連の論文を査読するのは、これの治療に当たる医師でもあるので、更に限界体制ギリギリとなっています。

両雑誌の編集長は、該当の論文が「十分な査読を経ている」と主張しています。「ただし、適切な査読者に依頼をしていなかった」と添えています。NEJM誌のRubin編集長は、大規模な病院データに通じている、外部専門家に査読を依頼すべきだったと述べています。Lancet誌のHorton編集長は、利用するDBの質についての独立した検証を以後要求すると言っています。

ただし両編集長も、査読により「あからさまな捏造（outright fabrication）」を検出することは期待できないと口を揃えています。査読者は、論文の根拠データまで立ち戻り確認することはほぼありません。労力がかかりすぎます。また、査読は無報酬の労働なのです。

[New York Times] (2020.6.14)
The Pandemic Claims New Victims: Prestigious Medical Journals

―― Lancet誌のジャーナルポリシーの変更のインパクト（私見）

これまで研究データ管理や研究データ共有の議論は、主に政策レベルで議論が進み、「研究データが産業界で活用されれば、イノベーションにつながる」、「研究データが共有されれば、研究が加速する」、「公的資金を得た研究成果は納税者に還元されるべき」など、抽象的かつ理念先行型で、実体の伴わないものでした。
いくぶんかの強制力を有していたのは、「アメとムチ」のムチに例えられる、研究助成機関による「研究データ管理計画（DMP）」の要求でしたが、これも研究者の目から見ると形式上のもので、研究助成を得る上で作成すべき書類が一点増えたにすぎないものでした。

これに対して今回のLancet誌のジャーナルポリシーの変更は、一歩踏み込んだものとなっており、研究者の研究データに関する認識や研究体制のあり方の見直しにつながる可能性を持っているように感じます。

「1）著者によるデータ確認の宣言」は、共著者全員がデータへのフルアクセスを有し、論文投稿に関わる責任を負うことを求めます。これは、分業の進んだ研究体制に対して、ブレーキをかけるものです。
近年、スケールの大きな研究を短時間で発表していく必要性から、研究の多くがチームで行われるようになり、メンバーがお互いの活動を十分に把握しないまま、論文も分業体制で作成し、出版に至る場合もありました。しかしこのポリシーは、特に研究データ管理について、全員がお互いの活動を把握し、責任を持つことを求めています。また、産学連携の場合、データ確認著者のうち1名がアカデミアである必要があるため、企業側に作業を完全にアウトソーシングするといったやり方も制限されるようになります。
Lancet誌は権威あるジャーナルで、医学系の研究者の多くが論文掲載を望んでいるため、インパクトが大きい可能性があります。

「2）掲載論文に対するデータ共有宣言」は、研究助成機関の求める「研究データ管理計画（DMP）」と、記述内容はほぼ同様に思いますが、研究成果（＝論文）に直結して提示されるため、よりダイレクトであるように感じます。
一般のDMPは、研究助成プロジェクトの申請時あるいは採択時に作成するため、プロジェクトの進行や取得されるデータについて不確定要素が大きいです。また、一般的には、1つの研究プロジェクトから複数の論文が、プロジェクト期間中のみならずプロジェクト終了後も含め、作成されるため、どうしても、精度の欠いたものとならざるを得ません。これに対して、Lancet誌が求める研究データ共有宣言は、研究成果が確定した後に、取得／利用された研究データに対して記述されるので、より具体的で、当該データに対する明確な責任を生みます。
一方、Lancet誌のジャーナルポリシーの表現を見ると、研究データ共有宣言の提出を求めているのみで、「研究データを共有することを推奨」とまでは言っていないので、研究データの共有がこのポリシーにより進むかは微妙です。

「3）解析データに対する査読」は、学術のあり方について最も大きなインパクトを与えるように感じます。
これまで査読は基本的に、当該分野の専門家によりなされてきましたが、このポリシーは、大規模なデータセットを解析する論文については、データサイエンティストに査読を依頼すると言っているのです。Lancet誌はその20余りの姉妹誌を含め、基本的に医学系の学術雑誌ですから、これは分野以外の専門家（？）に査読を依頼することを意味します。
Lancet誌はこれにより、データハンドリングに疎い医学系論文著者による「データ処理のほころび」を検出し、排除しようと考えています。データ処理のほころびは、意図的である場合も、データ処理の不慣れによる場合も、うっかりミスである場合も、ありますが、データサイエンティストのスクリーニングにより、適切なデータ処理をなされた論文のみが、世の中に出ていくことが期待されます。
学術論文の堅実性を確保する素晴らしい仕組みですが、この査読を任されるデータサイエンティストは、たまったものではありませんね。そもそも、医学系ではないデータサイエンティストに、医学系論文の適切性の可否は分かるのでしょうか・・・？

―― データ処理の専門家による査読の導入

一方、このように、学術雑誌がデータサイエンスの分野ではないにも関わらず、データ処理に関わる査読を追加することを通じて、論文の厳密性を高めようとする動きは、他にもあるようです。

今回紹介した記事に、「統計に関わる査読（statistical peer review）」という表現が出てきますが、これは調べてみると、どうやら医学系の学術雑誌において数十年前から導入されているようです。医学系の論文は、ランダム化比較試験において統計処理を行うことが多いわけですが、統計処理ソフトがブラックボックスで利用されることが多いため、適切な統計処理がなされているかなどの確認を、統計処理の専門家により、行うそうです。査読の一部とみなされていますが、以下の "statistical reviewer" によると、論文の採択の可否の判断に関わるというよりは、採択となった論文の統計処理を、適切なレベルに引き上げることが、そのミッションのようです。

Altman, D.G., "Statistical Reviewing for Medical Journals," Statist. Med. 17, 2661-2674 (1998)

プログラムコードを確認する学術雑誌もあるようです。たとえば、Nature誌では2014年から既に、論文の結論に直結するコードの提供可否の宣言（code availability statement）を論文著者に求めています。また、2018年から1年弱、Nature3誌（Nature Methods誌、Nature Machine Intelligence誌、Nature Biotechnology誌）について、Code Oceanというプラットフォームを通じて、コードの共有、引用、査読を可能とするパイロットを実施しています。前2誌は、情報処理分野なので、論文投稿者も査読者もコードの解読には長けているでしょうが、3誌目のバイオテクノロジーについては、（おそらく計算生物学の研究者たちで論文投稿と査読を回すのでしょうけど）、コードの査読が入ることに違和感が多少あります。

[Nature.com Blogs] (2018.8.1)
Nature Research journals trial new tools to enhance code peer review and publication

―― 学術の品質保証は誰が担うのか？

先日、Springer Nature社の「査読」をテーマとしたウェビナーに参加したので、その質疑応答において、「Lancet誌のジャーナルポリシーの変更が、他の出版社の学術雑誌に波及する可能性があるか」という質問をしたところ、「興味深い指摘で、今後の経過を十分注視する必要がある」という回答があったのち、上述のようなデータ処理に関わる査読の取り組みが紹介されました。

また、「（他の学術雑誌が、Lancet誌と同様のジャーナルポリシーを採択するかどうかは分からないが）、いずれにしても今後は、ジャーナル側が、論文著者による分析とは独立した、論文の検証を行うようになるだろう（journals conducting paper review independent from analysis）」と指摘していました！

学術は本来、当該分野の学術コミュニティで積み上げているはずで、査読は本来、その分野の専門家がお互いに品質保証し合うことにより、当該分野の堅実性を高める行為なはずです。研究の過程において、データ処理の専門家を動員し、チームで研究成果を出すというのであれば理解できますが、論文査読のときになって、出版社が検閲をするような形で、論文の整合性を検証し、必要に応じて、論文をはじくというのには、違和感というか、反発を感じます。

しかし一方で、NEJM誌の編集長が指摘するように、学術雑誌にとっては、誤りのある研究成果を掲載するのは、「〔学術雑誌の信用を失墜させる〕重大ミス」で、「〔掲載は〕あってはならない判断」です。人の命に関わる医学系の論文は、特にそうでしょう。このため、学術出版社が、論文の品質保証をするために、あらゆる手立てを打とうとするのも頷けます。当該分野の学術コミュニティによる査読だけではチェックしきれないのであれば、データ処理の専門家など、他の手段を動員しなくてはいけないという主張も理解できます。

・・・（学術が爆発的に拡大し、研究者が把握しきれる論文数や、処理しきれる査読の量を既に超えているとは言われていますが）学術がますます研究者の手から離れていっているように感じました。先週（9/21〜25）は「世界査読週間」だったそうですが、コレを認識しているのは学術情報流通関係者ぐらいで、研究者で認識している人は皆無ではないでしょうか？
ギルドとしての学術コミュニティが崩壊しかかっているように感じました。

船守美穂