2015.04.24 トピックス
研究環境改善のカギは「透明性」だ！
成果をあげた研究者には大型予算を、研究者は実力の世界だ、競争上等！というムードで突っ走ってきたライフサイエンス分野ですが、相次いで大型の研究不正事件が発覚したことを通じて、研究者のみならず、広く社会に「ライフサイエンス領域は大丈夫なのか？」という疑念を与えてしまいました。研究そのものの不正を減らす努力をするのが必要なのはもちろんですが、苦労して競争して論文を出しても、その後の研究費や人事の審査がコネや出来レースでは、研究で競争をする意味がありません！こうしたことは、みんなおかしいと思っているのに、なぜかあまり改善しません。居酒屋での議論は活発でも、公の場では意見を述べない研究者。どうすれば状況を改善できるでしょうか。
そこで、「透明性」を解決のキーワードとして考えてみました。「透明性」を上げることを通じて、こうした課題が解決できるのではないでしょうか？
その１：
研究費の審査についてはいろいろな噂が飛び交っていますが、さて実際にはどうなのでしょうか？審査のプロセスはもう少しオープンでも良いのではないでしょうか。
（提案）
・審査会の議事録を、発言者を匿名にして公開する。
・日本学術振興会が蓄積している審査委員のメタ評価を公開する。
・科研費における評価制度を他の大型研究費審査に採用する。
・年間審査回数の制限（審査活動もエフォート管理）。
その２：
若手には重要な問題である人事評価。こちらも激戦が続いていますが、納得がいかないという声もよく耳にします。何を透明化すれば、応募者は納得できるでしょう。
（提案）
・研究機関の人事の透明性について部局ごとに評価を行い、これを公開する。指標は統一し、自校出身者の比率、内部昇進の比率、非公募人事の比率などを一定期間で集計する。全国でランキングを作成。
・どのような人材を求めているかを応募要領に詳しく説明し、公開した観点に基づいた議論を通じて選考する。
この他にも、ここを透明化すべきだ、どうしてここは秘密になっているのか？いや、この部分はさすがに透明化できない、などといった忌憚のない議論をお願いします。個人的な経験ですが、尋ねてみたらあっさり開示されるといったケースもままあります。そういったご存知の情報も是非！
コメントお待ちしております。
岡山大学 田中智之
（この意見は筆者が所属する組織の意見を反映しているものではありません）
＊コメント欄では「I’d rather post as guest」をチェックいただくと、登録なしでゲストとして投稿ができます。
コメントを新着順に表示させるため
コメントはできるだけ下のボックスからご入力ください。
Loading ...
透明性は大事ですが、審査員はますます仕事が増える・・・
http://bit.ly/1RQjYGE
これが、あるべき姿でしょうか？
ご意見ありがとうございます。利益相反のご指摘は、こうした活動が何かガチ議論関係者にとって有利に作用するだろうという推測をされているのでしょうか。あるいは、こうした活動によってメリットを受ける組織が影で応援しているというお考えでしょうか。私の感想に過ぎませんが、個人的にメリットがあるとはとても思えません。そういう余分なことをしている時間があったら研究に邁進しろというお叱りを受けることはあります。
透明性も最初にご賛同いただいている通りで、万能と考えているわけではありません。たとえ限定されていても見えてくるものはあると思いますし、最初はそれで良いと考えます。ご意見を書き込まれると言うことは、研究者のあり方について関心をお持ちだと思います。是非、いろいろご意見をお願いします。
透明性大事だと思いますが、都合のいいところだけ出して透明性高いぜ～となるのは目に見えています。たとえばこのガチ議論関係者に関する利益削反情報はどこで見れますか？経歴や金銭関係は透明になってますか？そういうことです。
遠藤先生のコメントを短くまとめてみました。
・日本学術振興会(JSPS)の「学術システム研究センター」には「審査委員候補者データベース（DB）」があり、個人の基本情報や研究業績などに加え、審査委員履歴が収録されている。審査終了後はこれらの情報を公開できるのではないか。
・同DBはJSPS内のみでしか活用されていない。文科省やJSTは個別に同類のシステムを運用。同DBの情報を共有化しては!?
・学術システム研究センターは審査委員のメタ評価を毎年実施しているが、ネガティブな評価については審査委員当人にも直接的にフィードバックされず、問題である。
・大きなトップダウン型の研究費や研究領域、いわゆるビッグ・プロジェクトの選定方法を透明化してほしい。
皆様、どう思われますか!? ご意見、どうぞよろしくお願いいたします!!
非常に重要、かつご指摘のように解決が難しい問題だと思います。人間のやる評価ですから、間違いやバイアスはつきものです。また、多数の評価者がよしとする方向性では斬新な研究成果は生まれないというご指摘は全くその通りだと思いました。
私は、評価は研究の質の問題に留めて、方向性については見当違いも含めて多様であることを保証することが良いと考えています。質の高い研究が実施できる研究者には、テーマを縛るよりも自由度を与えた方が、イノベーションには有利にはたらくと思います。再現性への配慮、多角的な検討の有無、過去の研究の十分な精査など、いくつかのチェックポイントを設ければ、専門性が異なっていても研究の質を評価することはある程度は可能ではないでしょうか。
透明性について話を戻すと、例えば一本釣り的にあるテーマを誰かが推奨するという場合や、大型プロジェクトが国家主導で動く場合、どうしてそのテーマ、あるいは研究者を選んだのかといった考えについては開示される方が良いということです。今でも開示されているといえばそうなのですが、発案から実現までのプロセスは必ずしもクリアではありません。「目利き」が外れることについてはむしろそちらが普通で、なかなかヒットするものではないでしょう。どれくらいの研究費を「目利き」に任せるのかという判断も、情報が開かれていないと、そもそも多いのか少ないのかも分かりません。
大型プロジェクトの成否の評価では概して極めて寛容な態度を取っているわけですから、せめてプロセスは開示して、後進が学習するための資料を提供して欲しいと思います。プロセスを開示すると責任論が生じることが問題という意見がありますが、こちらは開示する時期を工夫すればある程度解決できるように思います。また、見通しの立たない将来のことについての判断については、一定の誤りはあるものだという認識も共有する必要があります。
海外でも同じような問題意識は持っているようで、NIHのグラントの査読の評価点数と論文数や引用数の相関を調べた論文が出て、PubPeerとRetraction Watchでも紹介されてましたね。
https://pubpeer.com/publications/99BC38E5FA88D5723F95D58C86A46A#fb29150
それによると、NIHの査読の評価が高かったものではそれなりに高い業績（論文数・引用数）に結びついているのではないか、ということでした。もっとも、Retraction Watchのコメントに、これはある意味トートロジー的に当然のことだ、という感じのがありましたが、これも妥当な指摘だと思います。
現在のシステムの一つの問題点は、「最大公約数的な研究にしか予算がつかない」ということです。PubPeerでも論じられていますが、少数の人しか思いつかない・理解できないような革新的なアイデアや研究は葬り去られてしまう。審査員が新しいアイデアなどを受け入れられなかったり理解出来なかったりする、この問題は「大御所」を審査員に据えたからと言って解決出来るものではなく、寧ろ傷口を広げる危険性すらあると思います。もちろん、箸にも棒にもかからないような逸脱した研究計画などは除外されるべきで、そういうものの排除には最大公約数を尊重するシステムは有効でしょう。審査員には「革新的なアイデア」と「トンデモ」の間の線引をする責任があり、それ故、高い専門性と倫理性が必要とされるはずです。
ここで出てくる問題が「専門性」に関してです。現在の生物学はあらゆる分野で細分化が非常に進んでいます。同分野・同研究対象であってもアプローチや興味が異なればお互いの基礎知識のレベルが全く違って有意義な議論にならないことも多々あります。そういう状況で全てに対応出来る「専門家」を審査員にするというのはかなり困難、実質不可能ではないかと思います。ある分野で大御所と目される人でも、たまたま考え方の波長がその分野の問題と合っていたから業績を出せた、と言う人も少なくないでしょうし、専門外の研究の価値を適切に判断するのは難しいでしょう。
もう一つの問題は、審査員の「メタ評価」です。メタ評価する評価員は誰なのか？どういう基準で評価するのか？採用した研究の顛末だけでなく採用しなかった研究についても評価するのか？審査委員と同じ問題がつきまといます。
具体的にどうするというアイデアが現時点であるわけではありませんが、Post-Publication Peer Reviewシステムのようにもっと広く、末端の専門家も含めて、意見を出し合うことがより公平な評価・メタ評価に繋がるのではないかと期待しています。もっとも、テクニカルに実現は難しいかも知れませんが。
大学院重点化や、ポスドク１万人計画といった施策の背景となった資料を読んだことがありますが、トップ研究者や官僚の方が協力して、様々な方向性から検討を加え、優れた計画を立てようと真摯に努力されていることが理解できます。一方で、現場での運用は当初の理想とはかけ離れたものとなっています。
研究者の場合、一同に集まって朝礼を行うわけにはいきませんから、どういう考えのもとそうした方針が立てられたのかを理解する機会がありません（公開されているとはいえ、こうした資料を熱心に読む研究者は稀です）。その結果、皮相な理解のもと制度が運用され、起こった出来事に対して若手に自己責任論を押しつけるようなことが起こっています。
大学院入試の形骸化や、博士学位の濫発、大学院生を無給の労働力として利用するといった問題は、制度改革の真意が理解されていないこと、現場における間違った運用に対する歯止めがないことが原因ではないかと思います。そもそも研究人材育成のあり方について現場レベルで議論が行われた形跡は過去にありません。
研究人材育成の成功を評価するような仕組みや、Transparency is the key!さんが指摘するような研究室における人材育成状況の可視化といった仕掛けがセットで実施されていれば、今より状況は良かっただろうと思います。研究者のキャリア問題はここでも何度も話題になっており、重要な課題です。
1年以上前にこのハンドルで投稿させて頂いたものです。
私はさらに下からの目線で恐縮ですが、博士号の取得率、取得に要した年数、退学率など各大学きちんと公開していただきたいと思います。博士一人当りに投入されているとされる税金(学生には直接ほとんど渡ることはないが…)、その学生の家族の支援、無給で頑張る学生の努力、D4以降は奨学金も途切れること、何も生産していない大学で人材の輩出こそがGDPの上昇に貢献する大きな要素であることなどを考えれば、なぜこの情報がここまで秘匿されているのか理解に苦しみます(学生からトコトンまで搾取したいというのは分かりますが、何故それをお上は見過ごしているのでしょう)。この情報隠蔽の陰で何人の博士課程在籍学生が涙を飲んできたことか想像に難くありません。そういう意味では博士号取得率などはIFと同等にPIの評価として用いられるべき指標であると考えます。
研究倫理をテーマとしたシンポジウムを開催した後で、ある参加者の方に教えていただいた話ですが、SuicaのようなICカードの導入は不正乗車を激減させる効果があり、JR東日本では数百億円のレベルで増収があったそうです。
ここであげた研究費や人事の問題では、プレイヤー間の利害が絡むために、現実にはゆるやかに問題点を解決するしかないように思われます。その場合、Suicaの導入のような方向でのシステムの改変は、既存のプレイヤーと衝突することなく変化を持ち込むという意味で、優れた解決方法になるのではないかと考えました。Suicaの特徴の一つは透明性です。
遠藤先生に詳しくご紹介いただきましたJSPSの評価システムでは、評価者が評価されるというシステムが存在するために、恣意的な審査に対する歯止めがあります。評価の過程での自分の振る舞いが検証されることはないという環境は、やはりあまり好ましいものとはいえないと思います。
少し脱線になりますが、研究不正問題においても、誰がどのようなプロセスで、その判断をしたのかというところが不透明であるところに最大の問題があります。不透明であるために、不適切な行為は看過され、失敗が繰り返されています。誠実さと公正さは望ましい資質ですが、それらが欠けることはしばしばあるという前提が必要だと思います。
もちろん、透明性も大切です。しかし、「コネや出来レース」というのは、透明性の問題ではなくて、「誠実さと正義」の問題であると思っています。いくら透明性を高めても、それを無視する運営も行われています。また、「透明性」を逆に悪用する手法だってあるわけです。
例えば、外部評価などでは、外部の人物と見せかけて、予め頼んでおいて、被評価者にとって都合のよいことを言ってもらうというようなことが行われていると思います。こういうのは、透明性をいくら高めても、全く対応できません。
「誠実さと正義」というのは、心構えの問題であって、評価者の倫理観を高めるしか方法がない。これを改善する１つの方法は、「評価者の評価」を行うことだと思います。これは、様々なレベルで可能です。でも、評価の評価を行っても、その評価の評価が適切に行われているかどうかもわからないですね。
「透明性」，重要ですね。私も科研費以外の競争的資金などについて，透明性の不足を不満に思うところはありますし，文部科学省に聞きたいこともいろいろあります。
ちなみに私はJSPSの学術システム研究センターの研究員をやっていたので，それをふまえて，「その１」の提案についての個人的な意見というか感想を。
まず科研費の審査委員ですが，以前は日本学術会議による推薦というか，推薦に関する学会枠のようなものがあったのですが，その弊害をなくすために，平成15 年にJSPSに学術システム研究センターなるものができました。現在では，そこの研究員（公募制）の人達が，分野別に合議で審査委員を選んでいます。その 基礎となるのがセンターのデータベースで，多くの研究者には「独立行政法人日本学術振興会審査委員候補者データベース」のデータ確認について，という葉書 が来ているかと思います。そこに登録されている情報（個人の基本情報，審査可能細目，発表論文，受賞歴，競争的資金の獲得状況）に加えて，正確な科研費取得情報，科研費＋特別研究員の審査委員履歴などが収録されていたかと思います。このデータベース情報に基づいて，研究センター研究員ができるだけ適切な審 査委員を選んでいくわけです。このとき，年齢構成，女性研究者，公私立大学などについても配慮することとなります。
研究センターでは審査委員の審査内容を毎年検証しており，書面審査において有意義な審査意見をつけていただいた方には，顕彰制度があります。一方で審査内容に問題がある審査委員については，ペナルティが別途検討されることとなります。よくあるのは，１や５の評点を付けたのに，コメントが一行だけの定型句だったり，自分で勝手に 審査基準をつくって点数をつけているケースです。それでも利益相反などの悪質な問題がない限りは審査委員解任などのペナルティには至らない場合が多いです が，ネガティブ情報は当面研究員の間で共有されますので，その後当分の間は審査委員に選ばれにくくなるかと思います。なお，このネガティブ情報は本人には 直接フィードバックされることがないのが問題ではあります（本人は自分の審査が他の審査委員に比べていい加減であることを自覚するチャンスがない）。たとえば，書面審査において，審査委員間で他の審査委員のコメントを見れるようにすれば，自分の審査がいい加減かどうかが分かるし，自分の誤解を修正したり， 他の審査委員の審査のやり方を学ぶチャンスがある（生命系のジャーナルで言えば，eLifeの論文審査のやり方に近いですね），という意見もありますが， 実現していません。
というわけで，ご提案の「日本学術振興会が蓄積している審査委員のメタ評価を公開する」については，審査委員データ ベースの情報はKAKENデータベースで見れる内容とも重複する部分が多いですし，審査委員の履歴は終了後は開示情報ですから，公開可能なように思いま す。また，科研費および特別研究員の審査委員については重複できないようになっていますので，「年会審査回数の制限」についても，JSPSに関わる部分 （新学術領域研究を除く科研費すべてと特別研究員についてはJSPSが配分）ではすでに実現していると言えます。
一方で，私が以前から残念に思うのは，長年かけて構築してきたこれだけいい審査委員候補者データベースが，JSPS内だけでしか活用されていないことです。文科省は学術調査官な どを使った独自の情報に基づいて審査委員を選んでいるらしいし，JSTも似たようなシステムを持っているようです。まずは文部科学省内で，正確な競争的資 金取得情報，審査委員の履歴などをデータベースとして共有化すべきと考えます。
あと，なんだかんだいっても科研費の審査はかなり公正に行われているはずだと思っていますので（もちろんさらに良くできることもまだまだあるとは思いますが），私としては科研費よりもっと大きなトップダウン型の 研究費や研究領域，そしていわゆるビッグプロジェクトの選定方法を透明化してほしいと思いますね。これは，田中さんが言われている「科研費における評価制 度を他の大型研究費審査に採用する」という提案にもつながってくると思います。
京都産業大学 遠藤斗志也