【帰ってきた】ガチ議論
このエントリーをはてなブックマークに追加

impact

インパクトファクター至上主義からの脱却を目指そう

このエントリーをはてなブックマークに追加
 
1

インパクトファクター至上主義からの脱却を目指そう

藤田医科大学・宮川剛

私は、個人としてDORAに署名し、また日本神経科学学会の将来計画委員会・委員長として学会のDORA署名にもたずさわりました。私が所属している団体としては、他にも日本分子生物学会、日本生物科学連合が署名をしており、日本科学振興協会(JAAS)による署名は私が関係するものとしては少なくとも5つめの署名ということになるかと思います。

DORAの宣言の中で指摘されているようにジャーナル・インパクトファクター(JIF)偏重が数多の深刻な弊害を科学コミュニティにもたらしていることは疑いようがありません。しかし、DORAが発出されてから11年以上が経過しDORAへの日本からの署名も増えているにもかかわらず、正直、日本でのジャーナル・インパクトファクター至上主義は、未だほとんど改善されていないと断言して差し支えないでしょう。DORAへの署名はJIF至上主義から脱出するための重要な一歩ではありますが、現在でもはびこるJIF偏重を見れば、それだけでは全然十分でなく、そのための具体的な策を研究コミュニティが立案し実行していくためのロードマップが必要であることを示しているように思います。ここでは、JIF偏重がなぜ生じ、なぜダメなのか、その欠点を改めて復習し、それを解消するための私なりの策をいくつか提案させていただきます。

要点

  1. JIFが、論文や研究者の質の評価指標として不適切に使われている。

  2. JIFの欠点には、1) 再現性と有用性の評価の欠如、2) 不適切な競争の助長とムダの生産、3) 研究不正の助長、4) 出版バイアスの助長、5) 盛りすぎ広報の助長、などがあり、JIF至上主義は科学の進歩を遅らせる科学の敵といって過言ではない。

  3. JIF至上主義を克服するために、A) 出版後評価の拡大、B) 即時ゴールドOA義務化と高IF誌の出版コストの可視化、C)サウンドネス基準のジャーナルを増やす、D) 論文の価値評価を行う総説誌を立ち上げる、などを提案する。

1. JIFの社会的機能

JIFの弊害が叫ばれる中、これを偏重する文化はなぜ無くならないのでしょうか?それは、JIFにはある種の社会的機能があるからであり、この機能があまりに便利すぎ、必要不可欠な存在となるまでにアカデミアに深く組み込まれてしまっており、事実上、手放すことが困難だからです。

その社会的機能と一言で表現すれば、研究評価広報の機能になるでしょう。各ジャーナルでは、投稿されてきた論文の原稿の技術的・科学的健全性、独創性・新奇性、学術的・社会的インパクトなどが、担当のエディターと2~4名程度の査読者によって評価されます。この査読による評価は、一般的にJIFが高いジャーナルほど厳しく、そのジャーナルから出版される平均的な論文の「質」がJIFに代表されているとぼんやりと考えられています。これは、「ぼんやりと考えられている」だけなのであって、実際にはそのようなことは必ずしもないことも一方で理解されており、DORAでも「研究評価ツールとしてのインパクトファクターの欠点について数多くの指摘がなされている」と記載されていますが、これは裏を返せば、インパクトファクターが研究評価ツールとして実際には用いられているということです。

アカデミアでは、研究費の審査や人事、学会賞などの審査において、当該の人が出版した学術論文を評価する必要があります。この評価は、その人が得る研究費、ポスト、研究者としての社会的名声などの基盤になり、研究を継続することができるか否かも決めますので極めて重要であり、ある程度の実績とポジションを有する研究者にとっては、他の研究者を評価する業務が日常的な作業の少なからぬ部分を占めています。しかしながら、これらの他者を評価するような立場の研究者(多くの場合、准教授や教授などのいわゆる研究室主催者)は、様々な業務であまりに多忙で、個々の論文を評価する時間を取ることが事実上、ほぼ不可能なのです。自分自身の研究に費やす時間すら十分に取れていない一方で、JSPS、JST、AMEDや各種財団の研究費など、機関向け競争的資金の種目数は膨大で、賞の選考、人事なども多数あります。これらの評価・選考に関わる人材は限られていて数が足りておらず、しかもどの選考でも応募者の数が膨大な数となることが多く、個々の論文をしっかり読み込んで評価を行うための時間が圧倒的に欠如しているのです。いくら真摯に評価をしようと考えている審査員でも100人もの応募者の論文すべてを読むことができるわけがないですね。このような状況の中で、評価者/審査員が自分自身でオリジナルな評価・審査をせずとも使える極めて便利な数値的評価指標がJIF、ということになるかと思います。JIFは論文評価の代理指標、サロゲートマーカーであるわけです。

私も各種の審査をする機会をかなりいただきますが、複数の賞や研究費の選考で、ある種の実験を行ったことがあります。申請者の論文実績について各論文のJIFと被引用数を調べ、それぞれ足し合わせるということをアシスタントに行ってもらいました。それだけをもとに仮の評点を機械的につける、ということをしてみました。これらの選考では、他の審査員の評点がわかるようになっていたのですが、機械的に計算した評点と他の審査員全員の平均評点の相関をみてみますとこれが極めて高い。とある選考おいて、それぞれの審査員の評点と、その審査委員以外の審査委員全員の評点の相関を、それぞれの審査委員ごとにだしてみると、なんと機械的に計算した評点の相関がトップにきた、ということがありました(その際の審査員の人数は通常のものよりも多い審査でした)。つまり、JIFをサロゲートマーカーにして審査をしていれば、大きくは外すことはないのであり、逆にいえば、多くの審査員はJIFの計算を(おそらく)頭の中でわりと雑に行い、その他もろもろで多少の調整をしているだけな場合が多いのではないか、と推測されます。これが事実であるとすれば、私たち評価者が行っていることは機械による計算にまかせてしまったほうがよいのではないか、ということになります。

これは、別の見方をしますと、研究コミュニティは、各論文ひいては研究費の申請や研究者そのものの評価をジャーナルのエディターと査読者に丸投げしてしまっている状況に近いといえます。誰がどのような研究費/人事/賞の審査をしようとも、このようなJIFに依存した評価では同じような結果になってしまい、高IFジャーナルのエディターと査読者が莫大な力を持ってしまうことになるのです。日本には高IFジャーナルはほとんどありませんので、日本の科学技術は高IF誌に研究の方向性のイニシアチブを取られて過小評価をされることにもなってしまっているのではないでしょうか。

JIFには、加えて、このような論文の評価機能から派生した広報機能があります。世の中には、日々、膨大な論文が出版されており、個々の研究者が専門とする狭い分野ですら、そのすべてをフォローして読み込んでいくことは不可能です。しかし、多くの研究者は、先端を切り開くような論文について常にアップデートされた状態であることを望みますので、それをサポートするような何かが必要となります。JIFの高いジャーナルの目次をざっと見るということは、分野の最先端にキャッチアップするための有効な手段であり、著者側から見れば、そのようなジャーナルに掲載されることは大きな広報効果を持つことになるわけです。高いJIFのジャーナルは、ジャーナル独自の広報・プレスリリースを行うこともありますし、そのようなジャーナルに掲載された論文は、著者やその所属機関がプレスリリースを行う場合もあり、その広報効果にはされにレバレッジがかけられることになります。

2. JIF偏重はなぜダメなのか?

研究評価と広報の機能を担い、「研究評価ツール」として活用されてしまっているJIFですが、DORAの主張するように「数多くの欠点」があります。その欠点を簡単に整理してみます。

欠点1: 再現性と有用性の評価の欠如

現状、JIFは、論文の評価ツール、研究の質のサロゲートマーカーとして使われてしまっているわけですが、研究の評価の上で極めて重要な2つの観点が決定的に欠落しています。それは、その論文で報告する結果やアイデアの再現性と有用性です。

科学技術がアートや宗教などと大きく異なる点の一つは再現性です。論文で記載された方法に従って実験・調査を行えば、原則的には同様な結果の再現性が得られるはず、ということ、科学はそのような意味で普遍性がある、ということです。ただ、実際には再現性が得られないことは多々あり、論文の半分から50~70%もが再現性が得られないという報告(1,2)もありますので、報告した現象が再現できるか否か、再現性が高いか低いかというのは、その論文の評価の重要な指標となるべきです。研究がきちんと行われている限りは結果の再現性が得られない論文の価値がゼロというわけでは必ずしもないのですが、再現性の高低が論文の価値の重要な指標の一つであることに意義を唱える人は少ないでしょう。

また、出版後、ある程度の時間がたったあとに、その論文で報告したものが有用であったか、広い意味で役にたったか、というのも重要な評価指標です。有用である、役にたつ、というのは、広く社会に実装され利用されるという意味ももちろんありますし、純粋に学術的な仮説や理論の構築の上で後続の研究の役にたったのか、世界の知識基盤の総体を拡大することにどの程度役にたったのか、というような視点ももちろん含まれます。

科学の本質とも言える再現性と有用性は、ある程度の時間の経過がないと評価ができません。したがって、本来、論文の本当の価値は出版後の中・長期的な評価で決まると断言して差し支えありません。高IFのジャーナルの査読では、”Conceptual advance”や、”Broad interest”が評価の視点の重要な部分を占めますが、出版後に再現性のないことがわかった結果に依拠した”Conceptual advance”は「概念の進歩」とはなっていなかったことになりますし、出版後に(社会実装でも学術的にも)「使えない」とわかった論文は当初”Broad interest”があったとしても、世の中からの関心はなくなっていくはずです。独創性・新奇性がいくら高くても、再現性と有用性がゼロであるような研究はその価値もほとんどないといっていいでしょう。再現性も有用性も、中長期的な時間の流れの中で、研究コミュニティや社会が徐々に決めていくものであり、エディターや査読者が出版前に決めることができるものではありません。科学技術の本質である再現性と有用性の観点の欠如は、研究評価ツールとしてのJIFの決定的な欠点と言えるでしょう。

欠点2: 不適切な競争の助長とムダの生産

JIFを高くするためのジャーナル間の競争は、著者らの不適切な競争を招き、多大なムダを生産してしまっています。ジャーナルがJIFを高くするためには、「質の高い」と推定される少数の論文のみを採択することが重要です。このため、科学的・技術的に健全であっても多くの原稿がリジェクトされてしまいます。リジェクトされた原稿は、他のジャーナルに再投稿されるわけですが、投稿のための労力(フォーマットの変更や、各種投稿手続き)や査読のための時間(2週間から2ヶ月程度)が浪費されます。リジェクトによる心理的ストレスとそのストレスからくる生産性の低下も、おそらく膨大なものでしょう(どなたかに推定してみていただきたいところ)。

採択に至る論文であっても、「質を上げる」ための実験・調査の追加などの改訂を要求され、出版が遅れることが多々あり、論文の初投稿から、高いIFのジャーナルを狙ったがゆえに出版まで2年かかってしまった、というようなことも稀ではありません。論文が世に出るのが遅れるわけですから、これは科学コミュニティと社会の損失となっているはずです。

激しい競争から、高IFジャーナルのエディターと査読者は過大な権力を持ってしまうことになり、これに伴う不適切行為も多々生じています。査読は普通クローズドで行われますが、これに伴い密室でのハラスメントが行われることがあります。分野の大御所はそのような点で権力をもっていて、査読の際に自己の仮説について過剰にバイアスがかかった査読を行ったり、自己の論文の引用を強要したりすることがあります。さらには、自分が査読者であることを暗に(ときには明示的に)示したりすることにより、著者やその所属機関などから接待を受けることなどがあります。世界的にも、多額の資金を使って、高IF誌のエディターや査読者(になりそうな研究者)を招いてセミナーや研究会などを行い、観光や食事などの接待を行うこと、そしてそのような接待の資金をもつ研究者や研究機関の論文が優先的に掲載されるようなことは普通であるといってよいでしょう。このような接待によるコミュニケーションには、科学的な交流を通じて情報交換・議論を行うというポジティブな意義ももちろんあるわけですが、これが閉鎖的なコネや研究者ギルドのようなものの形成を促してしまい、査読時のバイアスを強め、他の研究者の排除につながりかねないなど、公平・公正な科学の進歩を妨げる側面がある面は指摘しておく必要があると思われます。

欠点3: 研究不正の助長

高IFジャーナルの狭き門をくぐって掲載されるための不適切な競争から生じている極めて毒性の強い副産物として、questionable research practice (QRP;不適切な研究行為)と不正があると考えられます。再現性と有用性は上述したように科学の本質ですが、QRPと捏造・改ざんなどの不正は当然のことながら、これらを低減させる方向に働き、科学と社会にとっては本来、百害あって一利なしの行為です。しかしながら、査読の時点では(ある程度の予想をすることはできても)実際の再現性と有用性は原理的には評価することが不可能です。高IFジャーナルに出版した研究者が研究費・人事・賞などのレースのすべてで勝ちを独占しがちである現状のもと、再現性・有用性は出版に至る競争では評価されないわけです。p-hacking、HARKINGなどのQRPや、データの改変や捏造などの不正を行っても、それが見つからない限りは、論文の出版まで漕ぎ着きさえすれば「勝ち」がほぼ決まりになってしまいます。オランダで7000人弱の研究者に行われた調査では、捏造・改ざんなどの不正に関わったことのある研究者が4%、QRPを頻繁に行っている研究者はなんと50%以上おり、QRPを助長する最大の要因としてPublication pressure (論文出版へのプレッシャー)が抽出されています(3)。私は、Molecular BrainとNeuropsychopharmacology Reportsという2つの国際学術誌の編集長をしておりますが、以前、ある種の社会実験を行ったことがあります。データが”too beautiful to be true”に見えた41の原稿について、生データを著者に提出するようにお願いしたところ、半分以上の原稿は生データを提出することなく取り下げになり、データが提出された原稿でもその9割以上で真っ当な生データが提出されなかった(生データと結果が全く一致しないとか、生データのごく一部しか提出されない等)のです(4)。現状、生データの公開は義務化されていない場合がほとんどであり、捏造・改ざんなどの不正が見つかり認定されるようなケースは少ないですので必然的にQRPや不正を後押ししてしまっていることになっていると考えられます。適切な実験計画・データ管理には時間・労力がかかりますし、現実の実験・調査でエディターや査読者の要求を満足させるような「きれいな」インパクトのあるデータが出るとは限りません。JIF至上主義の弊害で、「正直者が馬鹿を見る」世界に残念ながらなってしまっているといえるでしょう。信頼できるデータで構築された「巨人の肩に乗る」ことが科学の本質なはずですが、この弊害で、データの山は砂上の楼閣となりがちなわけです。

欠点4: 出版バイアスの助長

高IF至上主義の裏返しとして、「ネガティブデータの論文」、「仮説が支持されなかった場合の論文」、「再現性が確認されなかったという論文」などが出版されにくいという現象が生じます。これらの論文は多くの場合、高IF誌では採択されにくいからです。実際、効果量がJIFが高いほど過大に推定されがち、というようなことも報告されています(5,6)。論文はネガティヴデータ、仮説が支持されなかったり再現性が確認できなかったような研究、さらに言えば失敗の実験ですら出版されることが望ましいです。世界の他の誰かが、同じ失敗を繰り返すことを未然に防ぐことができるかもしれませんし、公的研究費が用いられた研究なわけですから何らかの報告がオープンになされるべきです。再現性の危機が認識され、Systematic Reviewのような文献を系統的に検索・収集し、類似する内容の研究を一定の基準で選択・評価を行う研究が重要視されるようになってきていますが、そのような研究を行う上では、結果がネガティブであった場合も正直にその結果が出版される必要があります。実際には、当初の仮説を支持するポジティブデータばかりが出版されることが多々あり、偏った仮説が支持され続けることがあるからです。ポジティブ、ネガティブのいかんに関わらず結果が出版されることにより、より信頼性の高い結論が総体として得られることになります。このような意味でも、高IF至上主義は、健全な科学の進歩を阻害する要因になっていると言えるでしょう。

欠点5: 論文のハリボテ巨大化

高IF誌が論文のアクセプトの門を狭めるための弊害として、査読者が実験追加を過度に要求することにより、論文が大きくなりすぎてしまいがちであるになっています。メインのFigureに加え、論文本体に掲載しないsupplemental materialのFigureやTableが10〜20にものぼるようなケースは全く珍しくありません。論文の査読をきちんと行うためには、査読者が自分の専門に近い部分を批判的に評価することが必要なのですが、論文内の各アイテムの研究領域が様々な分野にまたがりすぎていて、少数の査読者では適切な評価ができない場合が多々あります。また、査読者は多忙なので、すべての補足的なマテリアルまでしっかりと評価する時間・労力を割くことが困難となり、査読者による評価が薄くなりがち、ということもあります。このため、高IFジャーナルに掲載される論文が、信頼性の弱いデータの寄せ集めとなり、肥大化したハリボテのような状態のものになってしまっていることが増加しているように思われます。

欠点6: 盛りすぎの広報

これは一見関連性が薄い用に見えますが、広報が過剰になりがちなこともJIF偏重の弊害の一つだと思っています。高IFジャーナルに掲載された論文は、あたかも信頼性や有用性が高いと思われがちなのですが、上述したように、再現性と有用性についての保証はないことがほとんどなわけです。所属機関やマスメディアからの広報は、論文発表直後に行われることが普通で、高IFジャーナルに掲載された論文が広報される場合が多いこともあり、再現性・有用性に関する認識と現実のギャップが、当該の論文に不相応で過剰な広報、盛りすぎの広報を生み出しがちになっていると思われます。
 
以上のような欠点を踏まえつつ、では、これからどうすればよいのか、について次、考えてみます。

3. JIF至上主義から脱却するために行うべきこと

上述したJIF至上主義の欠点を踏まえ、これらの欠点を克服できるような具体案を以下に提案させていただきます。

A) 出版後評価の拡大

JIF市場主義から脱却するために、研究コミュニティがまずは行うべきことは、論文と研究者の評価に再現性と有用性の観点を明確に導入すること、つまり、出版後評価を拡大することであると考えます。

そのための第一歩として、研究費、人事、賞などの申請書には、自分の論文の再現性、有用性の自己申告の欄を設けることが有益だと思われます。その欄には、自分(たち)のこれまでの論文の再現性、有用性(学術的、産業・社会や政策での応用の側面)を文献や記事などのエビデンスを示しながら記載することにします。それらが、他の論文でどれくらい再現されているか、ポジティブに評価されているか、どの程度、学術的に、あるいは社会実装に活用されているかなどです。研究計画で記載することの多い未来の有用性の可能性というのは、いくらでも法螺を吹くことができてしまい、あてになりませんし、大きすぎる法螺を吹いても心が傷まないような研究者を利することにもなります。論文発表後に、実際に再現されたか、有用であったかがエビデンスをもって示されるかどうかが重要です。

次に重要なのは、十分な時間をかけて評価者・審査員がJIFに頼らないまっとうなピア・レビュー、論文の科学的内容を定性的に精査した上での一次評価を行う環境を整備することです。まともな研究者であれば、できるだけそのように努力するはずですが、日本では、そういう研究者でもこれが事実上、物理的に不可能な状況となっており、これを改善する必要があります。詳細は省きますが、時間・労力が割けないというのが最大の問題ですので、これを解消するためには、分業の促進による時間の確保、研究費/賞などの種目数の削減(「大くくり化」)、再現性・有用性を重視し金額的に必要十分な額を措置する基盤的研究費の導入などが効果的と思われます。JIFに過度に頼ることなく、適切な評価が行われるようにするには、十分な定性的評価を行うことのできる時間と余裕を創出し、出版後の評価の比重を高めることが重要でしょう。

また、DORAでは、様々な論文レベルでの数量的指標(article level metrics)を利用可能にすることが推奨されています。最近では、JIFのようなジャーナルレベルの数量的指標だけでなく、個々の論文の被引用数、被引用数を分野調整した指標(ScopusのFWCIのようなもの)、Altmetricなどが極めて容易に入手できるようになっています。JIFはジャーナルの評価指標にすぎず、その値は、少数の多数回引用される論文によって大きく影響を受けていますので、論文ごとの指標が入手できる現在ではその意味が薄くなってきているはずです。これらの論文レベルでの数量的指標が重視されるようになると、高IF誌に出版するための費用対効果が相対的に弱くなり、状況は改善されることが期待されます。
 
ところで、一部、研究評価の数値化は必ずハッキングされるものなので、数値化自体がよくないとする意見もあるようです。しかし、論文レベルでの指標は基本的に出版後評価であり、JIFと比較すると本質的なところで優れているといえ、DORAでも活用が推奨されていることに注意しておく必要があります。また、論文の科学的内容を骨太のピアレビューにより定性的に評価して何をするかというと、最終的には数値化するわけです。そのピアレビューにより決定される研究費の額、ポジションとその報酬、賞の受賞の有無なども、ある種、数値化です。数値指標のほぼなかった昔の日本のアカデミアでは、基本的には指導教官の力、学閥、学会でのヒエラルキーと役割などを主な基盤として人事が行われていました。それらはそれらでメリットがないわけではないのですが、公平な競争を行うべきことがコンセンサスになっている現代では、その時代に戻ることは流石に不可能でしょう。メトリクスを全否定するということではなく、コミュニティとして、目的に応じた多様な数値指標や、よりハッキングされにくいような数値指標、不正なハッキングを検出する方法などを検討していくことにより、より公正・公平な指標を採用していくことが重要だと考えます。

B) 即時ゴールドOA義務化と高IF誌の出版コストの可視化

EUにおいて即時オープンアクセス化が義務付けの方針が”Plan S”で示されたことを皮切りに、米国でも同様な方針が示され、先日、日本でもようやく即時オープンアクセス化を義務付ける基本方針が示されました。これらを主なきっかけとし、Nature、Science、Cellやその姉妹誌などで、論文をOA化する場合のArticle Processing Charge(APC)が公表され、その高額さが話題になりました。100万円以上にもなるAPCは高額すぎる、というのが主な世論でしたが、私は個人的には、これは全然高くないどころかむしろ安い、と感じました。というのは、ジャーナルのサブスクリプションを通じてこれらの出版社が得る収益は莫大なもので、もしこれらの論文がすべてOA化された場合、この程度のAPCではおそらくそれに匹敵する収益は得られないはずだからです。即時OA義務化のメリットの一つで見逃されがちなのが、この高額なAPCにより、高IFジャーナルでの出版コストの可視化が進んだことです。大学や研究機関でのこれらのジャーナルの購読費用は莫大なものになっているのですが、研究者は自分のふところは傷まないので、これらのコストについては無関心な傾向が強いです。しかし、APCとなるとコストが自分ごととして意識化・可視化されるわけです。研究者にとって高IFジャーナルに掲載するメリットは、自分の論文がジャーナルの権威とともに広く広報されることによって、研究コミュニティや社会から認知され、引用が多くなされる傾向があることだと思われますが、これは見方をかえると、高IFジャーナルに掲載するための各種のコストは権威付けと広報のための負担であると考えることができます。ところが、オープンサイエンス時代に入りつつある現在、権威ある研究者がSNSで高い評価をするなどして話題になったり、OA誌の総説、論文などで高い評価がなされるなどすれば、権威も広報もそれで足りる場合が増えてきているのです。高IF誌に必ずしも掲載されていなくとも、プレプリントですら、権威付けや広報がしっかりなされる場合がある。一方、高IF誌であっても、その論文を事前にしっかりと評価するのは、エディターと査読者を含め、たかだか3〜5人程度にすぎません。SNSや後続の論文などによって何十人何百人という多くの研究者によって実際の再現性・有用性も含む評価がなされるわけですから、出版前評価と出版後評価の重みは後者が圧倒的に重要視されるべきものであることは明らかです。そういうことであれば、わざわざ100万円以上の高額なAPCを支払ってまで高IFジャーナルに掲載する必要がない、と考える研究者も増えてくるはずです。実際、私の研究室から出版された論文のいくつかは、標準的なOA誌に地味に出版された論文であっても、NatureやCellなどの高IF誌に掲載された論文よりも多数回引用されているものがかなりあります。高額なAPCのみならず、査読にかかる長い時間、理不尽に要求される追加実験、追加実験要求が助長する不正、リジェクト時の心理的ストレス、リジェクト後の他誌への投稿の手間、エディターや査読者候補への接待費用などは、高IF誌に掲載するための大きなコストです。研究コミュニティが負担しているこのコストの総和は莫大なものになって科学の進歩のマイナスとなっています。

現状、アクセプト時の原稿のリポジトリへの掲載で良しとするグリーンOAを許容する方針がEU、アメリカ、日本などでとられていますが、私は、ゴールドOAの義務化を進め、一刻も早く科学技術研究の原著論文の発表におけるサブスクリプションの息の根を止めるべきと考えています。これによって、多くの高IF誌の高コスト体質が浮き彫りにされ、費用対効果に見合わないことに多くの研究者が気づき、出版前評価から出版後評価へと評価の軸足のシフトがなされることを期待します。サブスクリプションの削減と廃止は、ペイウォールで可視化されにくく社会での研究活用の壁となり、科学情報へのアクセスの格差が生じている現状の改善という大きなメリットもあります。公的資金でなされた研究の成果は、サブスクリプションができない小さな大学・企業の所属の研究者からシティズンサイエンティストまで含めた一般市民まで広くアクセスできるべきです。日本の政府が、ジャーナルの購読料は原則、税金を原資とする公共の資金からは支払わないことにすることを明示し、この点での国際協調を先導するくらいのことを行ってもよいのではないでしょうか。

C) サウンドネス基準ジャーナルを増やす

科学的・技術的に健全でありさえすれば出版する「サウンドネス基準」を採用するジャーナルを増やすことも重要です。研究計画がしっかりしていて、適切にデータが取得され解析されているのであれば、「ネガティブデータの論文」、「仮説が支持されなかった場合の論文」、「再現性が確認されなかったという論文」なども出版する、ということによって、「欠点4」で指摘した出版バイアスを減らすことができます。現在、AIの著しい進化と普及が進んでいるわけですが、高IF誌偏重が出版バイアスを助長していることは間違いなく、AIが正しく学習していく上で高IF至上主義は害悪です。世の中のAIが適切に学習していくためにも、研究によって得られたデータが、研究者の人間的な思い込み・バイアスの影響をできるだけ受けず粛々と出版されていくことが欠かせないでしょう。この意味では、研究課題や研究方法が査読を通過すれば結果のいかんに関わらず論文の掲載を原則保証する ”Registered Report” の普及も進めたいところです。” Registered Report” をある種の研究費の審査と連動させるというアイデアもあります。システマティックなデータの取得を目的とするファクトリータイプの研究プロジェクト(例えば、ヒューマンゲノムプロジェクトというのはこれにあたります)というのも存在するわけですが、そのような性質の研究にはこのアイデアは有効なのではないでしょうか。高IF誌への論文掲載ではなく、信頼できる結果を得て報告する、という真っ当なことに研究者のモチベーションがシフトすることにプラスになると思います。

私は Neuropsychopharmacology Reportsという3つの学会が合同で運営する国際誌の編集長をしておりますが、このジャーナルでは、サウンドネス基準を採用することを最大の運営方針の一つとしています。また、このジャーナルでは被引用数やAltmetricなどのメトリクスを参考にした論文賞を多数出すこととし、出版後評価を行う文化の普及を目指しています。各種の評価において、論文ごとの被引用数その他の出版後評価を重視してほしい旨を、ジャーナルとして随時、学会員へお願いしていますが、投稿数は右肩上がりで増加中です。この種の試みを通じて、サウンドネス基準を採用するジャーナルを増やし、高IF誌偏重の文化を克服していくことが大切であると思われます。

D) 論文の価値評価を行う総説誌を立ち上げる

原著論文がサウンドネス基準のジャーナルに掲載されることが普通になった場合、では、「山のように出版される多数の論文の中から、今、読むべき論文をどう探せばよいのか?」という問題が生じます。現在、論文の価値の評価と広報の機能は、高IFジャーナルが担っている部分が大きい状況なわけですが、原著論文の健全性の評価と価値・インパクトの評価の機能は技術的に分けることができるし、そのための仕組みを作って峻別していくべきであると考えます。前者はサウンドネス基準のジャーナルの査読が主に担い、後者は総説(出版直後ではNews and Views的な速報的総説、再現性・有用性なども含めた中・長期的な価値は通常の総説)、SNSやAltmetric、機関からのプレスリリースとメディアによる報道などが主に担うようになることが望ましいでしょう。現在、高IF誌では専任で雇用されるエディターがいて、彼らは論文の健全性ではなく価値・インパクトの評価を主に行っています。この機能をしっかり分離し、そのような専任エディターをしている人材は、今後、出版後の論文やプレプリントなどから目ぼしいものを掘り起こして、News and Views的な速報的総説や再現性・有用性なども含めた中・長期的な価値評価を行う総説などを執筆するようにすればよいわけです。これらの専任エディターによる評価は、公的研究費によって担われているわけではありませんので、それらを掲載するジャーナルやサイトでは、オープン化を義務付ける必要はありません。新聞やネットメディアのサイトと同列の扱いでよいし、サブスクリプションもあって全然よいでしょう。そういうニーズは間違いなくありますので、現在、高IF誌のエディターをしている方々には、出版前の評価という顕著な弊害を有する仕事に従事することから、出版後評価の仕事、数多ある出版後の論文(プレプリントを含む)の中から注目すべき論文を掘り起こす仕事へと業務内容をシフトさせていっていただくことを期待します。

また、そのような流れを日本がリーダーシップをとって創っていくことも不可能ではないはずです。それぞれの学協会がサウンドネス基準のジャーナルを運営し、学会連合のような大きな組織が、News and Views的な速報的総説や通常の総説のみを掲載するようなジャーナルを創って運営する、というような役割分担はかなり現実味があるのではないでしょうか。後者のタイプの総説ジャーナルは、日本発の優れた論文をアピールする仕組みともなり得ます。原著論文を主に掲載するサウンドネス基準のジャーナルと広報機能を担う総説誌がうまく連携すれば、費用的な部分もなんとかなるようには思います。これについては、スケールメリットを活かしてオンラインに加え紙媒体の冊子体も含めて発刊するのも良いかもしれません。学会連合や日本学術会議、JAASなどで協力し、そのようなものの創刊を検討してみるのはいかがでしょうか?

4. 最後に

私は、ちょうど10年前に、「論文のオープンアクセス化を推進すべき7つの理由と5つの提案」という記事を出しました。そこで行った5つの提案のうち、公的研究費による論文のオープンアクセスの義務化はほぼ実現されそうですが、他の4つはまだまだであり、今回も再度、(多少改訂を行いつつ)提言しているということになります。こういったことは、一朝一夕に改善できるものでもないですが、気長に粘り強く主張し続け、実現のために少しずつ活動していくことが大切だと思っています。JIF至上主義の克服については、時代の流れとともに、今、機は熟してきているのではないでしょうか。

ぜひ、皆さまのご意見や提案などをお聞かせいただけますと幸いです。より適切な科学出版のあり方を、みなさんで議論し、実現していきましょう。

文献

1. Camerer, C. F. et al. Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nat Hum Behav 2, 637–644 (2018).

2. Wadman, M. NIH mulls rules for validating key results. Nature 500, 14–16 (2013).

3. Gopalakrishna, G. et al. Prevalence of questionable research practices, research misconduct and their potential explanatory factors: A survey among academic researchers in The Netherlands. PLOS ONE 17, e0263023 (2022).

4. Miyakawa, T. No raw data, no science: another possible source of the reproducibility crisis. Molecular Brain 13, 24 (2020).

5. Munafò, M. R., Stothart, G. & Flint, J. Bias in genetic association studies and impact factor. Mol Psychiatry 14, 119–120 (2009).

6. Joober, R., Schmitz, N., Annable, L. & Boksa, P. Publication bias: What are the challenges and can they be overcome? J Psychiatry Neurosci 37, 149–152 (2012).

* 同じ文章を日本科学振興協会(JAAS)・研究環境改善ワーキンググループが運営しているnoteサイトに掲載しています。リンク→https://note.com/jaas_reiwg


 

コメントを新着順に表示させるため
コメントはできるだけ下のボックスからご入力ください

“インパクトファクター至上主義からの脱却を目指そう” への1件のフィードバック

  1. Masahito Yamagata より:

    JSTの2月29日付けの記事です。
    「研究評価に関する国際シンポジウム―研究評価改革に関する国際動向―」を開催
    https://www.jst.go.jp/osirase/2023/20240229-2.html
    https://www.jst.go.jp/osirase/2023/pdf/20240229-2.pdf
    https://www.jst.go.jp/osirase/2023/20240229-2.html
    https://www.jst.go.jp/osirase/2023/pdf/20240229-2.pdf

コメントを残す