China bans SCI indices from research assessments

中国政府は2月下旬、研究者や大学評価、そして将来的には予算配分の判断において、SCI関連指標を過度に利用することを規制すると通知しました。

中国教育部および科学技術部が共同で発した10項目からなる通知には、学術機関に対して、1) SCI論文数を中心とした研究者および部局評価を慎むこと、2) SCI論文の発表実績が少なくても、学位や昇進の妨げになるべきではないこと、3) SCI論文を発表した研究者に対する報奨金の付与を学術機関はやめるべきことなどを求めています。
SCI（Science Citation Index）は、Clarivate Analytics社の運営する世界的な書誌情報データベースで、数千のトップジャーナルに掲載された論文を収録しています。

中国は現在、研究評価において、SCIに掲載された論文を中心的に評価しており、学術機関は、SCI論文を発表した研究者に対して報奨金を付与するといったインセンティブを設けています。SCI論文の発表実績が、研究職の採用や昇進、研究助成金の審査等の主要な評価対象となっていることから、研究者においては過度にSCI論文を追い求めることが横行し、研究活動に歪みが生じていました。通知では、論文の価値をSCI関連指標に求めるのではなく、論文の新規性や科学的価値に求めるべきとしています。

この新たな施策は、中国の大学、研究機関、研究病院の、研究者および大学院生に適用されます。これら学術機関は7月31日までに、改訂した研究評価ポリシーを政府に提出することが求められています。SCI論文を引き続き評価する機関は、付与されている特別の補助金が打ち切られます。

[Times Higher Education] (2020.3.3)
Chinese government bulldozes 'publish or perish' mentality

[Nature] (2020.2.28)
China bans cash rewards for publishing papers

■ 中華人民共和国「教育部 科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确 评价导向的若干意见》的通知」教科技〔2020〕2号 (2020.2.18)

なかなかすごいですねえ！ 中国の規模で、研究評価が量的指標から「定性的および定量的を組み合わせた包括的な評価方法」に変わると、中国は2018年以来、米国を抜いて、論文生産世界1位なだけに、世界における研究評価になんらかの変化が生じるかもしれません。他方で、プランSのときもそうでしたけど、中国はいち早く賛意を表したにもかかわらず、結局1年以上たった今になっても具体的な施策が見られないので、実際には、どうになるかは分かりません。また、仮に中国がこのように動いたからといって、世界がこれに追随するかは微妙です。

[mihoチャネル] (2018.12.7) 中国、学術論文の即座OAに賛同

[Nature] (2018.1.18) China declared world's largest producer of scientific articles

一方、中国の研究者はこの通知を予期していたそうです。中国では習近平国家主席が2016年、第29回中央全面深化改革委员会にて、大学および研究機関における大がかりな人事制度改革を行うと発表しています。
習近平氏の演説の該当部分をGoogle翻訳すると、以下のようになります。

「教育、資格のみ、および論文のみ」の傾向を克服し、専門的および技術的才能を科学的および客観的に評価し、専門的および技術的才能により多くの時間とエネルギーを与え、職業を育成し、成功に貢献する人々を作らなければなりません。

■ 中華人民共和国中央人民政府「习近平主持召开中央全面深化改革领导小组 第二十九次会议」 (2016.11.1)

習近平氏の発表以降、関連施策が複数打ち出されており、2018年に中国共産党中央委員会が「プロジェクト評価、人材評価、制度評価（3つの評価）」について示した見解では、特に科学技術人材の評価方法に関連して、SCI関連指標などに偏重した評価を改め、「道徳、能力、社会的評価」などの人物評価を強調する方針を打ち出しています。
これらの政策方針に基づき、中国の学術機関や研究助成機関、政府は、SCI偏重の研究評価を改める努力をしており、SCI論文発表に対する報奨金制度を廃止している大学は、2019年の早い段階から、あった模様です。中国の研究者によると、「少数だけど、質の高い論文（Fewer but better）」が新たなルールだそうです。

以下は、2018年の見解の該当部分をGoogle翻訳したものです。

科学技術人材の評価方法の改善

(2) 科学的に才能評価指標を設定します。道徳、能力、および業績志向を強調し、学位論文、タイトル、学歴、および賞のみの傾向を克服し、画期的な成果の品質、貢献、および影響に焦点を当てた代表的な作品評価システムを実装します。主題分野の活動と影響力、重要な学術機関または雑誌の任命、研究開発結果の独創性、結果変換の利点、および科学技術サービスの満足度を重要な評価指標として取り上げます。社会福祉研究、応用技術開発などの科学研究の才能の評価では、SCI（Scientific Citation Index）および発行された主要なジャーナル論文の数、論文引用リスト、およびインパクトファクターのランキングは、評価基準としてのみ使用されます。個人評価とチーム評価の組み合わせに注意を払い、チームのすべての参加者の実際の貢献を尊重し、認めます。（後略）

■ 中華人民共和国中央人民政府「中共中央办公厅 国务院办公厅印发《关于深化项目评审、人才评价、机构评估改革的意见》」 (2018.7.3)

今回発表された通知は、こうした国の研究評価の指針について、具体的な実施方針を示したもので、「SCI論文の関連インデックスの使用の規制」について特化していたため、世界的に注目されました。また、中国の学術機関に対して期限を切って、具体的な対応措置の提出を求めているため、対応が組織的に拡がる可能性があります。

中国国家自然科学基金はいち早く2020年度の「Innovative Group Research Project and Foundation for Distinguished Young Scientists」の応募条件を変更したそうです。応募者の研究業績において、被引用数を記載する必要がなくなりました。

[Scholarly Kitchen] (2020.3.3)
Guest Post ― How China's New Policy May Change Researchers' Publishing Behavior

今回の通知に示されたSCI関連指標に関する見解のダイジェスト訳を、本レポートの最後に付しておきましたが、この見解は、研究者評価だけでなく、学科や大学などの組織評価、学位授与の基準、プロジェクト評価などに及び、随所に「SCI関連指標を用いてはいけません」と明示的に記載しています。
SCI指標等の大学ホームページにおける広報を慎むよう求めています。学問分野ごとの特性などに配慮し、透明かつ厳格な評価体制を敷き、評価の時間が十分に取れるように、評価者における合理的なワークロードを設定することも求めています。大学や学科ランキングの利用縮小と、評価指標の削減も謳っています。SCI論文発表の報奨制度の撤廃も、10項目のうちの1項目を割いて、求めています。
評価をする側が、これだけSCI関連指標等の指標利用を控えたら、評価される側の研究者や大学院生の行動がだいぶ変わりそうですね。

もう一つ、この見解において特徴的なのは、基礎研究と応用研究のそれぞれについて、評価方法を明示していることです。
基礎研究は、研究成果が論文のかたちで表現されるため、論文が直接の評価対象となります。しかし、論文が掲載された雑誌のインパクトファクター（JIF）や被引用数を含むSCI関連指標の利用は控え、論文の革新性や学術的貢献を評価することが求められています。
応用研究は、生産の現場における技術的問題の解決への実質的貢献や、産業応用を達成するための新技術、新製品、新プロセスの効果に焦点を当てます。「論文は一般に評価指標として使用されません」と明示されています。
研究成果をなんらか文章化する機会がある方が、情報共有や学術継承の観点から良いように思うので、学術論文を完全に排除する必要まではないように思いますが、応用研究において、論文を評価の中心としないことは、一つの見識のようにも思えます。

さて、欧米の主要なメディアは、この2月18日付の中国教育部および科学技術部合同の通知を報道しているのですが、実は中国科学技術部はその前日の2月17日付けで、「論文のみに依拠する科学技術評価の悪影響を排除するための措置（試用版）」という通知を発しています。
以下は、その大見出しのGoogle翻訳を若干整えたものです。この大見出しのもとに小項目が計27あります。

論文のみに依拠する科学技術評価の悪影響を排除するための措置（試用版）[大見出し訳]

1. 研究評価は、基礎研究と応用研究を区別し、画期的な成果の品質、貢献、影響を評価
2. 国家科学技術計画プロジェクト評価は、イノベーションの質と包括的なパフォーマンスを強調
3. 国家の科学技術革新基盤の評価は、サポートサービスの能力を強調
4. 中央科学研究機関のパフォーマンス評価は、ミッションの完了を強調
5. 国家科学技術賞審査の傑出した結果の質と貢献を評価。
   関連する科学技術の成果の質、効果、影響、および関連する人員の貢献を確認する。
6. 革新的な卓越人材促進計画の評価では、科学的精神、能力、パフォーマンスを強調
7. 中国で高品質の科学雑誌を発刊・構築
8. 論文の出版費用の管理を強化
9. 監督と検査を強化

■ 中華人民共和国科学技術部「科技部印发《关于破除科技评价中"唯论文"不良导向的若干措施（试行）》的通知」国科发监〔2020〕37号 (2020.2.17)

この措置の内容は、研究評価やプロジェクト評価、組織評価におよび、また基礎研究と応用研究の区別をするなど、2月18日付の通知と重なるところも多いのですが、より具体的です。

たとえば、基礎研究の評価方法については、評価対象となる「代表的な作品の数」を制限する上、そのうち「最低1/3は国内の学術雑誌において発表」されたものでなければいけません。研究のパフォーマンスや研究能力を測る上で、論文数や論文が掲載された「雑誌のJIFは評価対象となりません」。

研究者および学術機関は、「3種類の高品質の論文」を発表することを求められます。「3種類の高品質の論文」とは、(1) 国際的な影響力を持つ国内の学術雑誌、(2) 分野で認められた国際的トップレベルまたは重要な学術雑誌、(3) 国内外のトップ学術会議で発表されえた論文のことを指します。

また「代表的な作品の数」は、研究者については5点、主要テーマに関わるイノベーションチームは10点以下、国や省のラボやその他科学技術研究のラボは20点以下、基礎研究機関は40点以下が想定されているようです。

[Scholarly Kitchen] (2020.2.27)
New Chinese Policy Could Reshape Global STM Publishing

この措置は、科学技術イノベーション基盤や中国の科学雑誌、論文の出版費用についても言及しています。
科学技術イノベーション基盤は、「サポートサービスの能力を評価」するのだそうです。単に作りっぱなしにするのではなく、使われるようにサポートするというのは、とても良い視点ですね。

中国発の高品質な科学雑誌の発刊・構築に向けて多額の投資がなされていることについては、昨年末ご紹介しました。この通知では、高品質な英文雑誌や、中文雑誌の英語抄録の品質向上、引用・索引システムの整備、そして、出版支援を得た論文が中国国内の高品質な科学技術雑誌に掲載されることを奨励しています。
さらに、（ハゲタカ雑誌のことを指しているのだと思いますが）「学術雑誌の早期警告メカニズムを改善」し、管理不十分で、学術面の評価およびビジネスのあり方に問題のある雑誌をブラックリストに登録するとあります。

[Nature] (2019.12.11) China splashes millions on hundreds of home-grown journals

[mihoチャネル] (2019.12.21) 復旦大学、大学憲章から「思想の自由」の文言を削除

論文の出版費用の管理強化については、新たな視点なので、少し詳細に見ていきます。

ここでも、論文の出版費用の管理強化の目的は財政管理ではなく（！）、「論文のみ」に偏重した評価を制限するために（！）、出版費用が支援される論文の対象を厳密に定めるなどの措置を図るそうです。
具体的には、国家科学技術計画プロジェクトによって生成された「代表的な論文」および「3種類の高品質の論文」については、出版支援を得ることができますが、その他の出版支出は認められません。2万元（30万円）を超える論文を出版する場合は、論文著者の分野もしくは機関の学術委員会が、論文出版の必要性について、承認を与える必要があります。
その他、論文の出版費用の管理強化では、論文が（ハゲタカ雑誌などの）「ブラックリスト」および早期警告リストに挙げられた雑誌に出版された場合の措置を明記しています。この場合、出版費用は原則支援されないため、これら雑誌への論文出版が発覚した場合は、出版費用とともに、研究プロジェクトの研究費（！）も召し上げられます。
研究助成機関は、プロジェクトの成果物に挙げられている論文業績を確認し、検証を強化するそうです。大学や研究機関は、論文発表の必要性とプロジェクト研究の関連性をレビューします。さらに、発表論文数や雑誌のインパクトファクターを、研究者への報酬につなげることも禁じられています。

この「論文のみに依拠する科学技術評価の悪影響を排除するための措置（試用版）」、なかなか徹底していますよね。まだ試用版ではありますが、本運用になったら、中国国内の研究活動のモードが大きく変わりそうです。
私が感心するのは、世界では「論文の量より質を評価すべき」「雑誌のインパクトファクターで論文を評価すべきではない」などの綺麗事は、たとえばDORA宣言などで言われるものの、一般的にはなんら実効性がないため、研究者は依然として論文数やハイインパクトの雑誌を追い求めるのに対して、中国は厳格に、「評価対象となる論文数を制限」し、さらには「国内学術雑誌への掲載が1/3以上でなければいけない」とするなど、欧米先進国の評価基準に追随することなく、ルールを決めているところです。
現在、論文を質的に評価できないのは、論文の数が増えすぎて、評価者が読む時間が十分に取れないということも大きな要因の一つなので、（その他学術分野がタコツボ化していることもありますが）、出版される論文総数を抑えるというのは、正しい選択なのかもしれません。研究者一人当たり年間5点以内なのであれば、それほど抑えられているわけではないですし、適正な程度なのではないでしょうか。世界各国でこの制限を設けるといいですね。

国内学術雑誌への論文掲載を進めているのは、国際誌にばかり論文出版をすると、論文出版料が国外に流れ出すのみであることを懸念してとのことです。
日本も全く同じ状況に置かれているのですから、「Top10％論文」を増やすことばかりを政策目標とするのではなく、せっかく政策的に進めてきた「国内発国際ジャーナル」や、「和文雑誌（英文抄録付き）」などへの論文投稿を誘導したら良いのではないでしょうか？ そうすれば、欧米の評価軸に振り回されることなく、良質な研究を育くんでいくことが可能となるでしょう。
日本の、特に科学技術分野における研究水準は、既に欧米先進国の水準になっていますから、評価基準が甘いかもと卑下する必要はないのです。気になるようであれば、国際的なエディトリアルボードで、海外の査読者を多く使えばいいように思います。

目下、日本発の国際雑誌は、それが分野において権威を有していても、マーケティング不足によりインパクトファクター（JIF）が伸び悩み、優秀な若手研究者が論文投稿に躊躇し、欧米の国際誌に流れる。すると、JIFが更に落ちるという悪循環に陥っていると聞きます。また、マーケティング強化などのために欧米商業出版社に頼り、これら商業出版社に購読料もしくは論文掲載料が流れ出す構造を強める結果となっています。
もはや、国内大学の多くが、学術雑誌の購読料や論文掲載料は負担しきれなくなっているのですから、もう一度、国内の学術雑誌を振興したらどうでしょう？ 勿論そのときの研究評価は、「Top10％論文」や「JIF」「被引用数」などの量的指標ではなく、質的に評価するという大原則を並行して敷き、徹底する必要があります。

船守美穂

※ 今回のレポートは、私が中国語を解さないため、Google翻訳や欧米のレポートに全面的に頼っているので、不正確な可能性があります。正確性の観点からは、原文に当たられてください。

※ 以下は、2020/2/18付けの中国教育部と科学技術部合同の通知に示された「SCI関連指標に関する見解」を、Google翻訳の力を借りて、ダイジェストで紹介するものです。誤訳が含まれる可能性もあるので、正確性の観点からは、原文に当たられてください。

単科大学および総合大学におけるSCI論文の関連インデックスの使用の規制について
正しい評価オリエンテーションの確立に関するいくつかの意見

現在の科学研究評価におけるSCI論文関連指標の一方的で過度の歪んだ使用を逆転させるために、さまざまな評価におけるSCI論文関連指標の使用を標準化し、定性的および定量的評価を組み合わせた、包括的な評価方法を奨励します。
科学的評価の確立を探求するこのシステムは、評価作業をガイドして、科学的精神、革新性の質、サービスへの貢献を強調し、大学を本来の学術的探求への復帰に導きます。学術的雰囲気を浄化し、学術的エコロジーを最適化します。
これを実現するために、以下の意見が提示されています。

1. SCI論文と関連指標を正確に理解する。
   SCIの関連する指標には、論文数、引用数、引用頻度の高い論文、インパクトファクター、ESIランキングなどがあります。これらは、学術レベルとイノベーションへの貢献度を評価するための直接的な根拠ではありません。
2. SCI至上主義の影響を深く理解する。
   SCI論文関連指標は、学術評価、専門職評価、業績評価、才能評価、科目評価、リソース割り当て、大学ランキングなどの主要指標として利用され、大学の科学研究におけるSCI論文関連指標の過度の追求につながりました。
   SCI論文、インパクトファクター論文、引用数の多い論文のみを追求する現象は、科学技術革新における価値追求の歪み、誇張されたアカデミックスタイル、迅速な成功などの問題をもたらしています。
3. 適切な分類および評価システムを確立します。
   さまざまな種類の科学研究作業について、さまざまな評価パスを確立する必要があります。
   • ・ 基礎研究では、論文は結果出力の表現の主要な形であるため、論文が評価対象となりますが、「雑誌による論文の評価」はやめてください。評価の焦点は、論文の革新レベルと科学的価値にあります。SCI論文の関連指標を直接判断基準としてとらないでください。
   • ・ イノベーションを生み出す研究の評価は、生産実践における主要な技術的問題の解決への実際の貢献、および産業応用を達成するための新技術、新製品、新プロセスの実際の効果に焦点を当てます。科学研究作業と国防に役立つ科学技術の成果の変革のために、論文は一般に評価指標として使用されません。
4. 学術的なピア評価を改善します。
   （前略）専門的な判断を、SCI論文の関連指標および国内外の専門家からの評価コメントに置き換えるだけではありません。利害関係者の専門家による回避の原則に従う。（後略）
5. さまざまな評価活動を標準化します。
   プロジェクトのレビュー、人材の評価、学科の評価項目を大幅に削減します。（中略）SCI論文の関連するインデックスに記入する必要がなくなり、代表的な結果の革新性と重要性に焦点を当てます。
   レビュープロセスは厳密かつ科学的で、同僚による査読の原則に従い、適切な専門家を選択し、十分な評価時間を確保できるように、ワークロードを合理的に設定する必要があります。
6. 学科と大学の評価を改善します。
   学科や大学のランキング評価を減らし、地域ごとの分類と評価を順守します。
   イノベーション能力の評価では、イノベーションの質と実際の貢献度を強調し、定量的な指標を慎重に選択し、SCI関連指標を評価の直接的な根拠として使用しません。（後略）
7. 専門職（役職）の評価方法を最適化します。
   役職（職位）の評価では、学校は職務特性、主題の特性、および研究の性質と互換性のある評価指標を確立し、さまざまな職位の評価における論文の役割を改善し、実際のレベル、開発の可能性、職務のマッチングに焦点を当てる必要があります。
   判断の直接的な根拠としてSCI論文の関連指標を使用しないでください。職員の雇用において、学校は前提条件としてSCI論文の関連指標を採用していません。
8. 評価報奨の功利主義的な傾向を逆転させます。
   業績と在職期間の評価において、学校は学部や個人にSCI論文関連指標の定量的要件を発行してはならず、資源配分においてSCI関連指標と直接リンクしてはなりません。
   SCI論文の関連指標に基づいて直接個人および部門の報酬をキャンセルし、功利主義的指向を回避する必要があります。
9. 科学が学位授与の品質基準を設定することです。
   大学は、才能の質と訓練において、草の根レベルのメンターと品質管理の役割を果たします。学位論文の品質レビューを強化し、学位授与において、学問の特性に基づいた、合理的な品質基準を設定する必要があります。（後略）
10. 正しいポリシー指向を確立します。
    大学、短大、大学、およびそれらの下位機関は、正しい方向に学術文化の構築をリードする必要があります。SCI論文およびESI指標のランキングを公開しないでください。（後略）

■ 中華人民共和国「教育部 科技部印发《关于规范高等学校SCI论文相关指标使用 树立正确 评价导向的若干意见》的通知」教科技〔2020〕2号 (2020.2.18)