●評価規準さまざま
研究の評価規準は、さまざまであるが、規準の高低と質が思案のしどころとなる。 まずは、評価規準の高低。卒論と博論を同一の規準で評価すれば、誰も大学を卒業できなくなる。さらに、これは明示的に言うのははばかられるところもあるが、学会誌間でも---ということは、学会間でも、ということになる---規準の高低はある。ただし、これは、あくまで主観的で暗黙の規準としてである。格づけの好きな(?)アメリカあたりでは、あからさまに、これは格が低い(掲載規準が低い)雑誌である、と言う。投稿者も、「この論文なら、この雑誌へ」との配慮をする。 その雑誌がどれくらい他の雑誌から引用されるかを指数化したインパクトファクターなる格付けもある。 次は、研究評価の規準の質、換言すれば、評価の観点。 もっとも大まかなものは、「掲載可能から掲載不能」「優れているから劣っている」まで、2段階から5段階くらいまでの判断をもとめ、あとは、その理由を付すようなものである。この対極にあるのが、独創性、斬新さ、論理性、方法の完璧性など観点別に点をつけて、それを総合する形式のものである。 どんな評価規準を採用するかは、学問(学会?)文化や評価する目的によって異なる。そのあたりをつい忘れて「絶対評価」をしてしまうと、評価の「妥当性」が疑われることになる。
●評価が一致しない
ほとんどの研究評価は、実質的には、2人か3人の専門を同じくする「仲間内」で行なわれる。「仲間内」であっても、しかし、評価者間で判定の一致する割合は、それほど高くはない。したがって、その調整に手間取ることになる。 ある学会誌で3年間、編集委員をしたときの経験では、最初の段階での3人の査読者間の一致は、採否2分割で言うなら、4割程度ではなかったか思う。 評価が行なわれるところならどこでもそうであるが、トップレベル(きわめて独創的なものは除く)とボトムレベルの判定は一致する。問題は、採否、合否のボーダーライン近辺である。しかも、これが圧倒的に多い。ここで判定が割れる。
また、研究費申請の審査では、これからこんな研究をしてみたいという申請についての評価をすることになるが、採用人事と同じような難しさがある。過去の業績のない若手研究者のきわめて独創的な研究申請が落とされがちになる。
●妥当な研究評価をめざして
評価には、評価される人が、評価結果に納得してくれる、ということも結構大事になる。納得してもらえない評価は、やる気を削いでしまうからである。時には、大騒ぎになることもある。 しかし、評価は、その人が属する組織全体のクオリティを保証するため、という大義がある。個人の納得性のみを重視するわけにはいかない。 この両者の要請を満たすためには、評価規準を「ある程度まで」透明化した上での、エキスパートや仲間による「主観的な」評価を行なうことになる。 ここで、「ある程度まで」と「主観的」について一言。
評価規準を「完璧に」定めることは不可能であるし、また、あまりに細部に渡ってまで定めてしまうと、評価コストがかかるだけでなく、被評価者も目標が見えなくなってしまう恐れがある。 「主観的」とは、最終的な評価は、評価者の主観に頼らざるをえない部分があることを言いたいためである。「主観」のない評価は、過去の数量的な実績に依存することになりがちで、ともすると、将来への展望をにらんだ評価にならないこれでは、大義にもとる。
研究の評価規準は、さまざまであるが、規準の高低と質が思案のしどころとなる。 まずは、評価規準の高低。卒論と博論を同一の規準で評価すれば、誰も大学を卒業できなくなる。さらに、これは明示的に言うのははばかられるところもあるが、学会誌間でも---ということは、学会間でも、ということになる---規準の高低はある。ただし、これは、あくまで主観的で暗黙の規準としてである。格づけの好きな(?)アメリカあたりでは、あからさまに、これは格が低い(掲載規準が低い)雑誌である、と言う。投稿者も、「この論文なら、この雑誌へ」との配慮をする。 その雑誌がどれくらい他の雑誌から引用されるかを指数化したインパクトファクターなる格付けもある。 次は、研究評価の規準の質、換言すれば、評価の観点。 もっとも大まかなものは、「掲載可能から掲載不能」「優れているから劣っている」まで、2段階から5段階くらいまでの判断をもとめ、あとは、その理由を付すようなものである。この対極にあるのが、独創性、斬新さ、論理性、方法の完璧性など観点別に点をつけて、それを総合する形式のものである。 どんな評価規準を採用するかは、学問(学会?)文化や評価する目的によって異なる。そのあたりをつい忘れて「絶対評価」をしてしまうと、評価の「妥当性」が疑われることになる。
●評価が一致しない
ほとんどの研究評価は、実質的には、2人か3人の専門を同じくする「仲間内」で行なわれる。「仲間内」であっても、しかし、評価者間で判定の一致する割合は、それほど高くはない。したがって、その調整に手間取ることになる。 ある学会誌で3年間、編集委員をしたときの経験では、最初の段階での3人の査読者間の一致は、採否2分割で言うなら、4割程度ではなかったか思う。 評価が行なわれるところならどこでもそうであるが、トップレベル(きわめて独創的なものは除く)とボトムレベルの判定は一致する。問題は、採否、合否のボーダーライン近辺である。しかも、これが圧倒的に多い。ここで判定が割れる。
また、研究費申請の審査では、これからこんな研究をしてみたいという申請についての評価をすることになるが、採用人事と同じような難しさがある。過去の業績のない若手研究者のきわめて独創的な研究申請が落とされがちになる。
●妥当な研究評価をめざして
評価には、評価される人が、評価結果に納得してくれる、ということも結構大事になる。納得してもらえない評価は、やる気を削いでしまうからである。時には、大騒ぎになることもある。 しかし、評価は、その人が属する組織全体のクオリティを保証するため、という大義がある。個人の納得性のみを重視するわけにはいかない。 この両者の要請を満たすためには、評価規準を「ある程度まで」透明化した上での、エキスパートや仲間による「主観的な」評価を行なうことになる。 ここで、「ある程度まで」と「主観的」について一言。
評価規準を「完璧に」定めることは不可能であるし、また、あまりに細部に渡ってまで定めてしまうと、評価コストがかかるだけでなく、被評価者も目標が見えなくなってしまう恐れがある。 「主観的」とは、最終的な評価は、評価者の主観に頼らざるをえない部分があることを言いたいためである。「主観」のない評価は、過去の数量的な実績に依存することになりがちで、ともすると、将来への展望をにらんだ評価にならないこれでは、大義にもとる。