先日、教えて！gooでこんな質問がありました。
論文のレベルとは、どのように決まるのか。そもそも明快な客観的レベルなんてあるのか。あったところで必要なのか……色々な疑問が湧く中、調べた内容を、備忘録を兼ねてご紹介します。論文の評価尺度には、インパクトファクター（IF）、H指数（h-index）、Altmetrics（オルトメトリクス）、RCR（相対引用率）などがあります。それぞれをざっくりと解説し、長所短所を見て行きます。
目次
インパクトファクター（IF）
Wikipediaによると、
インパクトファクター（Impact Factor; IF）またはジャーナルインパクトファクター (Journal Impact Factor; JIF) は、自然科学や社会科学の学術雑誌が各分野内で持つ相対的な影響力の大きさを測る指標の一つである。端的には、その雑誌に掲載された論文が一年あたりに引用される回数の平均値を表す[1]。一般にインパクトファクターの値が高いジャーナルは、値が低いジャーナルよりも重要であり、それぞれの分野でより本質的な名声を持っていると見なされる。ひいては、大学教員や研究者の人事評価においても利用されることも多い。一方で、この指標を用いた評価には批判も多い。
計算方法はこちら。
注意したいのは、インパクトファクターは元々、学術ジャーナルの影響力を測る指標であり、個人の論文の評価基準ではないということです。
インパクトファクターは、図書館がどの雑誌を購買するかを決めるために設計されたメトリックで、各雑誌に掲載された記事の引用された回数を集計しています。しかし、インパクトファクターが設計されて以来、インパクトファクターがジャーナルの品質と関連付けられるようになり、実施される研究にも、大きく影響するようになってしまいました。日本では、教授公募の募集要項に「出版した論文のインパクトファクターの合計が15以上であること」などと明記されている事例もあり、いまだ絶対的な指標です。
長所
- 最も広く使用・認知されている指標
- 計算方法が単純
短所
- 数値が操作しやすい
- メトリックが不透明
- 途上国などの研究の疎外・不公平が生じている
- 非倫理的なオーサーシップや引用慣行の誘発
- 出版社の名声に基づく学界での評判重視の傾向
H指数（h-index）
h指標とはジャーナルの審査ではなく、執筆者それぞれの生産性と影響力の尺度です。ある研究者のh指数が10の場合、その人が発表した論文が10本以上あり、そのうちの10本以上が10回以上引用されたという意味であり、一般的にはh指数が高いほど、その研究者は「たくさんの論文に引用されるような優れた論文を、数多く執筆している」ということになります。
Wikipediaには、
h指数（エイチしすう、h-Index）とは、物理学者ジョージ・E・ハーシュが引用索引データベースWeb of ScienceのTimes Cited（被引用数）を元に考案した指標で、論文数と被引用数とに基づいて、科学者の研究に対する相対的な貢献度を示すものである。ただし引用に関する慣習は研究分野により異なるため、h指数は同じ研究分野における研究者同士の比較にのみ使用されるべき量である[1]。
科学者の研究評価は、研究の内容や重要性など様々な要素が絡んでいるため難しい。そのため、分かりやすい客観的な基準として研究の成果である論文数が使用されている。単純な論文の数だけでは、論文の質が保証されないので、論文が他の論文に引用された数（被引用数）を規準にすることが一般的である。
しかし、被引用数を基準とした評価では、科学者個人の仕事の質は分かりにくい。分かりやすい例として、100の引用を受ける論文を1編書くことと、1つしか引用を受けない論文を100編書くことが等価になる問題が挙げられる。
ｈ指数を計算するソフトウェアのダウンロードはこちら。
長所
- 論文の量（論文数）と論文の質（被引用数）とを同時に１つの数値で表すことができる
短所
- 論文数と論文の質が１つの数値であるがゆえに、良質な執筆をする研究者か判断しづらい
- 被引用数の数値が正しくない場合はh-indexも正確ではない
- 共著の論文が高評価された場合、1人1人の著者が過大に評価される懸念がある
Altmetrics（オルトメトリクス）
オルトメトリクスは、"alternative" と"metrics"（代替と指標）の2語を組み合わせた造語で、論文の引用数だけでなく、論文の閲覧数、ダウンロード数、フェイスブックやツイッターなどソーシャルメディアや報道機関でのコメント数など、論文がもつ影響力のさまざまな面を反映した指標です。
前述のインパクトファクターやh指数は論文の引用回数のみにより算出されるのに対し、閲覧回数・ダウンロード回数・SNSやマスコミによる言及などを組み入れることにより、社会に及ぼした影響を引用論文の出版を待たずに、早期に可視化することのできる指標であると言えます。BioMed CentralやNature Publishing Groupなど大手出版社もオルトメトリクスを採用し、読者に提供するようになり、信頼度の高い指標として評価されています。
長所
- 論文の引用を待たずに瞬間的に論文の影響度を可視化する
- IFやh指数に比べて、社会に及ぼした影響を包括的に組み込む
短所
- 自己言及や言及の売買など、各研究者が自身の業績をよく見せる操作に影響されやすい
- SNS利用者数も増加した影響で、新しい論文であるほど高い評価をうけるというバイアスがある
- 指標の情報源となるデータは集めにくい
RCR（相対引用率）
相対引用比率（RCR）は、アメリカ国立衛生研究所（NIH）の科学者グループが開発した新しいアルゴリズムです。これは、同じ分野内の各論文に焦点を絞った指標で、評価対象の論文を審査する際に、その論文が引用された場において同様に引用された他の論文もチェックします。この作業によって、対象論文の被引用数に対する分野の正規化を行い、論文の影響度をより正確に測定します。
出版業界に留まらず、RCRの運用を始める資金提供機関は多く、文献管理ソフトReadCubeのReadCube viewer や研究助成金データベース Dimensions databaseでRCRの値を見ることができます。
長所
- 出版物を共通の価値基準で比較できる
- 異なる学問分野にも適用可能
- 急速に市場に適応し、改善を続けている
短所
- 算出方法が非常に複雑かつ制約が多い
- PubMedのデータベースに依存しているため、物理科学など他の分野の分析には不向き？
まとめ
現状では、学術研究の完璧な評価尺度というものは存在しませんが、今後も各指標の改善がなされて行き、現行の指標以上に有用な評価尺度が登場する可能性もあります。様々な指標を用いて、多角的に論文/著者の評価がされることが現状ベストのようです。
関連記事：
いま話題の新しい論文評価指標「オルトメトリクス（Altmetrics）」 - 学術英語アカデミー (enago.jp)
相対引用率（RCR）は新たな研究評価の指標となり得るか？ - 学術英語アカデミー (enago.jp)