研究評価を妥当なものに
●評価規準さまざま
研究の評価規準は、さまざまであるが、規準の高低と質が思案のしどころとなる。
まずは、評価規準の高低。卒論と博論を同一の規準で評価すれば、誰も大学を卒業できなくなる。さらに、これは明示的に言うのははばかられるところもあるが、学会誌間でも---ということは、学会間でも、ということになる---規準の高低はある。ただし、これは、あくまで主観的で暗黙の規準としてである。格づけの好きな（？）アメリカあたりでは、あからさまに、これは格が低い（掲載規準が低い）雑誌である、と言う。投稿者も、「この論文なら、この雑誌へ」との配慮をする。
その雑誌がどれくらい他の雑誌から引用されるかを指数化したインパクトファクターなる格付けもある。
次は、研究評価の規準の質、換言すれば、評価の観点。
もっとも大まかなものは、「掲載可能から掲載不能」「優れているから劣っている」まで、2段階から5段階くらいまでの判断をもとめ、あとは、その理由を付すようなものである。この対極にあるのが、独創性、斬新さ、論理性、方法の完璧性など観点別に点をつけて、それを総合する形式のものである。
どんな評価規準を採用するかは、学問（学会？）文化や評価する目的によって異なる。そのあたりをつい忘れて「絶対評価」をしてしまうと、評価の「妥当性」が疑われることになる。
●評価が一致しない
ほとんどの研究評価は、実質的には、2人か3人の専門を同じくする「仲間内」で行なわれる。「仲間内」であっても、しかし、評価者間で判定の一致する割合は、それほど高くはない。したがって、その調整に手間取ることになる。
ある学会誌で3年間、編集委員をしたときの経験では、最初の段階での3人の査読者間の一致は、採否2分割で言うなら、4割程度ではなかったか思う。
評価が行なわれるところならどこでもそうであるが、トップレベル（きわめて独創的なものは除く）とボトムレベルの判定は一致する。問題は、採否、合否のボーダーライン近辺である。しかも、これが圧倒的に多い。ここで判定が割れる。
また、研究費申請の審査では、これからこんな研究をしてみたいという申請についての評価をすることになるが、採用人事と同じような難しさがある。過去の業績のない若手研究者のきわめて独創的な研究申請が落とされがちになる。
●妥当な研究評価をめざして
評価には、評価される人が、評価結果に納得してくれる、ということも結構大事になる。納得してもらえない評価は、やる気を削いでしまうからである。時には、大騒ぎになることもある。
しかし、評価は、その人が属する組織全体のクオリティを保証するため、という大義がある。個人の納得性のみを重視するわけにはいかない。
この両者の要請を満たすためには、評価規準を「ある程度まで」透明化した上での、エキスパートや仲間による「主観的な」評価を行なうことになる。
ここで、「ある程度まで」と「主観的」について一言。
評価規準を「完璧に」定めることは不可能であるし、また、あまりに細部に渡ってまで定めてしまうと、評価コストがかかるだけでなく、被評価者も目標が見えなくなってしまう恐れがある。
「主観的」とは、最終的な評価は、評価者の主観に頼らざるをえない部分があることを言いたいためである。「主観」のない評価は、過去の数量的な実績に依存することになりがちで、ともすると、将来への展望をにらんだ評価にならないこれでは、大義にもとる。
＜---126行
以下はメモ
研究開発に投入される税金が格段に増加してきている。たとえば、文部省・科学研究費は1000億を越えて増え続けている。当然、どれだけの成果が上がったかが厳しく問われることになる。短期的かつ限定的な費用対効果だけを考えれば、その低さは、物作りへの公共投資---分母となる額は圧倒的に少ないのだが---の比ではないと思う。
さてでは、いかにしたら実のある「厳しい」研究評価ができるのであろうか。成果ベースの評価と企画ベースの評価とに分けて、考えてみたい。
まずは、成果ベースの評価から。
成果評価は比較的簡単。発表された論文（誌）からわかるからである。
企画評価が難しいのである。
経常経費としての研究費の重要性を忘れてはならない。
研究費があるときは研究し、ないときは研究しないというわけにはいかないからである。
最後は、評価規準の透明性である。
今年度のＣＯＥ（*****）も決まり、否にはその理由が簡便ながら当事者に伝えられることになっている。
奇妙なことには、すべての点において平均よりちょと上という「手がたい」研究が通りやすい。そして、一度通ると、一連の研究は、だいたいが同じ査読者に審査してもらうことになるので、どんどん通ることになる。
これも日本的ではないかと思うが、実質のあとに形式があって、編集委員会とか審査委員会とかが開かれて全員一致の形をとる。
査読者（だいたいが、2、3名）が、この暗黙の規準を知らないで評価をしてしまう、ということが起こると悲劇であるし、そんなことが実は結構ある。
●評価の結果が怖い
●ボーダーライン研究が多い
一番しんどくて気が重いのは、採否のボーダーラインにある研究である。しかも、これが圧倒的に多い。評価は、心理的には、おおむね正規分布をなしていて、採否の規準は、暗黙裏に平均値あたりを設定しているから、当然、こういうことになる。
純粋理工系の論文や研究ならこんなことはないと思うが、少なくとも心理学関係だと、記述が完璧に誤りという判断がしにくいことが多い。したがって、確信を持って、ある論文を非とすることができないことが多い。
審査基準は、諾否、採否の２分法というのはまれで、
ボーダーライン研究は、複数の査読者間で、判断が割れる。
学会によって、いろいろの工夫がなされている。
・まず、採否で判断し、ついで、その理由を書かせるもの
・いくつかの観点別に評定させて、その重みづけ合計点で、採否を決めるもの
・無条件採択から無条件不採択まで、いくつかの段階をおくもの
●研究が評価される
文系と理系の狭間に位置する心理学の中で研究していると、アカデミズム全体の風潮がよくみえるということがある。学会こそ存在するものの、学会誌もなく学会発表の抄録もない学会から、学会発表にさえ事前審査のある学会まで
研究の現場でパワーを発揮できなくなってきているのであるから、こんなところで
年中、そうした仕事を抱えている感じ
予算がらみの研究審査以外は、まったくの無料奉仕である。
●研究を評価する
研究開発に投入される税金が増えてきた。それに伴って、研究の「価値」の評価が次第に厳しくなってきた。「価値」のない研究に税金を投入することは、無駄な公共投資と見なされることになる。
●仲間内の評価と仲間外の評価のギャップ
通産省が絡んだ研究評価だと、「産業界への波及効果はあるか」といった評価項目が入ってくる。基礎研究に携わっている者には、違和感のある評価項目であるが、資金投入をすしようとする当事者からすれば当然の項目ということになろう。
しかし、これまで、実験室でひっそりとやっていた研究
研究評価の主流は、仲間内評価（ｐｅｅｒ ｒｅｖｉｅｗ）である。
●研究者のライフサイクル
研究者にもライフサイクルがある。がむしゃらに最先端をめざしてがんばる20代後半から30代。40代は、自分の研究者としてのアイデンティティの確立。50代になると、研究管理的な仕事をする。
こんなところが、典型的なライフサイクルであろうか。もちろん、へそ曲がり？もいる。50代、60代になっても、研究の最先端にいて一人で学会発表をするような研究者も数は少ないが、いることはいる。
