結果と考察：
研究結果 1)評価結果について① 概略的評価総合計値の正規性評価者28名による受験者120名の採点評価値は0(25点)、1(50点)、2(75点)、3(100点)に点数変換したのち、それらの概略的評価総合計点数の分布を4群の評価者群ごとに検討した。概略的評価総合計値の正規確率プロット(図5)はいずれの評価者群においても直線性を示した。すなわち評価者各群の総合計値はいずれも近似的に連続性正規分布標本として解析可能なデータ群であることが確認された。② 概略的評価と細分化評価の相関本研究において採用した2つの評価法、すなわち概略的評価値と細分化評価値との関係を明らかにするために、概略的評価総合計値および細分化評価総合計値について試験課題別に、評価者群ごとにn=受験者120名X評価者数の散布図を作成し、2変量間の相関係数(r値)を評価総合計値および各試験課題別評価値について評価者群ごとに求めた。評価者第1,2,3,4群における概略的評価総合計値と細分化評価総合計値の散布図を図6-1,2,3,4に示したが、それぞれのr値は0,937, 0,956, 0.930, 0.903で、概略的評価総合計値と細分化評価総合計値は高い相関を示した。4つの試験課題別評価総合計値について評価者群ごとに求めた2変量間の相関係数(r値)を表4に示すが、試験課題別および評価者群別にみても概略的評価値と細分化評価値は相関していることが明らかとなった。③ 概略的評価と細分化評価の評価値における評価者群間の比較4つの評価者群間の概略的評価および細分化評価の評価値の比較を評価平均値の差の検定から検討した。行、列とも要因によって分類に水準化がなされていないため、かつ1受験者ごとに全評価者28名の評価を比較する必要があることから、従属2標本のt検定を用いた。受験者数が120名と大標本であったため、データの検出力は極めて高かった。概略的評価に関しては、評価者第1,2,3群および4群の試験課題1の評価値はそれぞれ70.1±12.8、72.9±12.9、66.2±13.9および71.0±11.1であり、また試験課題2,3,4の評価値は表5に示すとおりであり、評価者第3群の評価値が常に他の群と相違していた。試験課題1-4の評価総合計値でみると、それぞれ278.5±40.2、277.6±46.4、256.8±45.9および277.5±36.7であり、評価者第1,2および4群の評価総合計値が類似した値に収斂し、差が検出されないのに対して評価者第3群では他の3つの評価者群すべてとの間に差が検出された。細分化評価に関しては、試験課題1の評価者第1,2,3および4群の評価値はそれぞれ78.2±9.1、78.7±10.4、78.2±9.1および76.8±10.6であり、試験課題2,3および4の評価値は表6に示すとおりであり、試験課題1-3においては評価者第1群と第3群、第2群と第4群が同様な評価をしていたことが明らかとなった。試験課題1-4の細分化評価総合計値でみるとそれぞれ305.0±33.1、297.3±35.4、302.7±37.0および300.6±34.9であり、細分化評価総合計値は発散しており、評価者すべての群間で5%未満の棄却率で有意の差が検出された。概略的評価および細分化評価の評価値における評価者群間の比較により、概略的評価においては評価者第3群以外の各群は類似した評価値であることが明らかとなったが、細分化評価において評価者群間で相違があることが明らかとなった。各評価者群の概略的評価における精度を比較するために、各評価者群における全受験者について試験課題別の評価値の変動係数(CV値)を求め、CV値を評価者群間で比較し、評価者群内の評価の一致度を検討した。表7に示すように試験課題1に関しては評価者第3群が極めて大きなバラツキを示した。また、試験課題2および3に関しては評価者第3群および第4群のバラツキが大きく、第1群および第2群に対して有意の差が検出された。試験課題4に関してはすべての評価者群間での相違が小さくよく一致した評価を示した。概略的評価における各評価者群の評価精度は試験課題により異なっていたが、評価者第1群および第2群の評価は他の評価者群より良好な精度であることが明らかとなった。④ 概略的評価と細分化評価の構造解析概略的評価と細分化評価には良好な相関関係が認められたが、さらに概略的評価のバラツキの原因を細分化評価と対比することによって構造的に明らかにすることを試みた。受験者120名の各試験課題の概略的評価と細分化評価との関係を、概略的評価を従属変数として評価者群それぞれについて重回帰分析を行った結果を図7―1,2,3,4および表8に示す。なお、重回帰分析に先立って主成分分析により構造解析を試みたが、第1成分しか検出できず直線回帰と同様の構造であった。細分化評価の評価項目1-5まで同質の因子を評価していることが判明した。したがって結果がより明確に解釈される重回帰分析による構造解析を行った。得られた細分化評価における評価項目ごとの標準回帰係数は、各試験課題の概略的評価における各評価項目の重要度を示している。評価者群第2群(図7のN0.10-18)は、すべて試験課題にわたってバラツキが少なく、さらに評価項目1-5のすべてを均等に考慮した評価が行われたことを示している。これに対して評価者第3群(図7のNo.19-23)および第4群(図7のNo.24-28)では概略的評価がある特定の評価項目に依存する傾向が強く、しかも依存する評価項目が評価者個人によって異なることを示した。評価者第1群(図7のNo.1-9)では評価者第2群(図7のNo.10-18)に類似した評価を行っていた。概略的評価と細分化評価の構造解析から各評価者群が概略的評価において細分化評価項目1-5の各々に依存する度合いに差があることが明らかとなった。⑤ 概略的評価における評価者個人内のばらつき評価者個人内のばらつきを明らかにするために6名の評価者が概略的評価について、同一試験課題に対する2回の繰り返し評価を行った。従属2標本のt検定の結果を表9に示す。試験課題1においては、5名の評価者で2回の評価値に不一致が検出された。その他の試験課題については、2名の評価者では繰り返し評価値が一致していたが、その他の評価者では一致あるいは不一致があった。全体として繰り返し測定においては評価値が一致しにくいことを示していた。しかし、2回の評価における評価値の平均値の差の検定は最大値で12.7、評価段階1ランク未満であった。したがって、概略的評価における評価者個人内のばらつきは認められるが、評価に大きな影響を与えるものではないと考える。⑥ 概略的評価と細分化評価の所要時間の比較概略的評価および細分化評価に要した所要時間を表10にまとめた。評価者第1-4群の平均評価時間は、概略的評価においては92.1±12.9時間、細分化評価においては207.1±37.2時間で、概略的評価の所要時間は細分化評価の約50%で、短時間での評価が可能であった。評価者群間の所要時間の比較はデータ数が少なく困難であったが、評価者第1群および第2群の所要時間は評価者第3群および第4群に比較して短時間であり、またバラツキは少ない傾向であった。⑦ 概略的評価における総合計評価値と学内成績の比較今回の試験に受験した学生の概略的評価総合計値と平素の学内成績の関係を評価者群別にグラフで表したのが図8である。歯科技工士学科(本科)2年生Aランク(成績上位32名)の学生の評価値、Bランク(33名)およびCランク(31名)の学生の評価値は、評価者第1群の評価値ではそれぞれ288.9±42.7、260.2±50.5および268±54.5点で、Aランクの学生の評価値はBランクおよびCランクの学生より高点であったが、BランクとCランクとの評価値間には有意の差が認められなかった。評価者第2-4群の評価においても評価値には差があるが総合計評価値と学内成績の比較結果は評価者第1群と同様であった。歯科技工士専攻科(実習科)1年生Aランク(10名)、Bランク(6名)およびCランク(8名)の学生の評価値は、評価者第1群の評価ではそれぞれ313.2±46.5、285.8±55.4、300.4±62.2点で、Aランクの学生の評価値はBおよびCランクの学生の評価値より高点であったが、AランクおよびBランクとCランクとの間には有意の差が認められなかった。また、評価者第3群および第4群の評価においてはAランク、BランクおよびCランクの評価値の間には差がみられなかった。 歯科技工士学科2年生と歯科技工士専攻科1年生のそれぞれの受験者全体の評価値は、いずれの評価者群とも歯科技工士専攻科学生で高い評価値であった。評価者第1群による評価では歯科技工士学科2年生と歯科技工士専攻科1年生の受験者全体の平均はそれぞれ272.4±50.9、302.9±55.5点であった。 ⑧ 概略的評価における評価値分布と合格 率各試験課題別評価値が総合計評価値に占める位置を知るために、概略的評価における受験者の総合計評価値を各試験課題の評価点25点、50点、75点および100点について区分したときの延べ度数を調査した。その結果を図9の3次元ヒストグラムに示す。試験課題1-4ともに各試験課題で高得点(75点または100点)を得たものは、総合計評価値においても高得点を得ていたが、試験課題3および4では低得点(25点および50点)を得たものの度数が大きかった。評価点25点(不合格)を有する受験者の総合計評価点は課題1および3においては≦100-300に分布していた。また、課題2および4においては≦100-360に分布していた。25点の評価点を有する受験者といえども総合計評価点では高い得点を得ている例があることが明らかとなった。合格基準として合格点を400点満点の60%すなわち240点以上、および参考に200点以上としたときの不合格者数および不合格率を評価者群ごとに表11に示す。各評価者群によって不合格率は異なっていた。評価者第1群、第2群、第3群および第4群の評価における歯科技工士学科学生の不合格率は14.8、27.1、35.4および16.7%であり、また歯科技工士専攻科のそれは8.3、8.3、16.7および4.1%であり、歯科技工士学科、歯科技工士専攻科ともに第3群の評価者の不合格率はその他の評価者群の不合格率に比較して高かった。また、いずれの評価者においても歯科技工士学科学生に比較して歯科技工士専攻科学生で不合格率は著しく低かった。学内成績と不合格者についてみると、歯科技工士学科の学内成績上位(Aランク)の受験者では不合格者が学内成績中位(Bランク)および学内成績下位(Cランク)に比較して著しく少なかった。しかし、学内成績中位(Bランク)および下位(Cランク)の比較では下位の受験者で不合格者数が中位の受験者より少ない傾向にあった。歯科技工士専攻科学生の学内成績上位(Aランク)の受験者では不合格者が0で、学内成績中位(Bランク)および下位(Cランク)に比較して少なかった。歯科技工士学科学生の学内成績と実技試験成績は必ずしも平行していないことが明らかとなった。合格基準として、いずれかの試験課題の評価値に25点がある場合を不合格とする基準を採用した場合の不合格率を表12に示す。不合格率は評価者群によって差があったが、不合格率が最も高い試験課題4では、不合格率は評価者第1群、第2群、第3群および第4群でそれぞれ27.5、23.3、30.8および21.7%であった。いずれかの試験課題の評価値に25点がある場合を不合格とする合格基準を採用した場合の不合格率は比較的高いことが明らかとなった。また、25点があるため不合格となった受験者と総合計評価値240点未満で不合格となった受験者は必ずしも一致しなかった。2)アンケート調査結果について評価者に対するアンケート調査においては、評価・採点時間について概略的評価には時間を要しなかったが細分化評価では90%の評価者が、時間がかかったとし(図10)、評価にあたっては採点基準となる模型の必要性を述べている。一方、受験者の試験時間に対しては適切な時間であるが60%以上を占めた(図11)。また試験問題の内容については、評価者は75%以上が適切であると答えたが、受験者は43%であった(図12)。受験者の多くは歯科技工士学科2年生で、資格試験における実技試験をまだ経験していないことから十分把握できず、半数近くがわからないと答えた。今回使用した模擬試験用模型については評価者の50%以上が、受験者の約80%が不適切と答え(図13)、その多くは後方からの視認ができない、咬合位の不安定さなどを挙げていた。
研究結果 1)評価結果について① 概略的評価総合計値の正規性評価者28名による受験者120名の採点評価値は0(25点)、1(50点)、2(75点)、3(100点)に点数変換したのち、それらの概略的評価総合計点数の分布を4群の評価者群ごとに検討した。概略的評価総合計値の正規確率プロット(図5)はいずれの評価者群においても直線性を示した。すなわち評価者各群の総合計値はいずれも近似的に連続性正規分布標本として解析可能なデータ群であることが確認された。② 概略的評価と細分化評価の相関本研究において採用した2つの評価法、すなわち概略的評価値と細分化評価値との関係を明らかにするために、概略的評価総合計値および細分化評価総合計値について試験課題別に、評価者群ごとにn=受験者120名X評価者数の散布図を作成し、2変量間の相関係数(r値)を評価総合計値および各試験課題別評価値について評価者群ごとに求めた。評価者第1,2,3,4群における概略的評価総合計値と細分化評価総合計値の散布図を図6-1,2,3,4に示したが、それぞれのr値は0,937, 0,956, 0.930, 0.903で、概略的評価総合計値と細分化評価総合計値は高い相関を示した。4つの試験課題別評価総合計値について評価者群ごとに求めた2変量間の相関係数(r値)を表4に示すが、試験課題別および評価者群別にみても概略的評価値と細分化評価値は相関していることが明らかとなった。③ 概略的評価と細分化評価の評価値における評価者群間の比較4つの評価者群間の概略的評価および細分化評価の評価値の比較を評価平均値の差の検定から検討した。行、列とも要因によって分類に水準化がなされていないため、かつ1受験者ごとに全評価者28名の評価を比較する必要があることから、従属2標本のt検定を用いた。受験者数が120名と大標本であったため、データの検出力は極めて高かった。概略的評価に関しては、評価者第1,2,3群および4群の試験課題1の評価値はそれぞれ70.1±12.8、72.9±12.9、66.2±13.9および71.0±11.1であり、また試験課題2,3,4の評価値は表5に示すとおりであり、評価者第3群の評価値が常に他の群と相違していた。試験課題1-4の評価総合計値でみると、それぞれ278.5±40.2、277.6±46.4、256.8±45.9および277.5±36.7であり、評価者第1,2および4群の評価総合計値が類似した値に収斂し、差が検出されないのに対して評価者第3群では他の3つの評価者群すべてとの間に差が検出された。細分化評価に関しては、試験課題1の評価者第1,2,3および4群の評価値はそれぞれ78.2±9.1、78.7±10.4、78.2±9.1および76.8±10.6であり、試験課題2,3および4の評価値は表6に示すとおりであり、試験課題1-3においては評価者第1群と第3群、第2群と第4群が同様な評価をしていたことが明らかとなった。試験課題1-4の細分化評価総合計値でみるとそれぞれ305.0±33.1、297.3±35.4、302.7±37.0および300.6±34.9であり、細分化評価総合計値は発散しており、評価者すべての群間で5%未満の棄却率で有意の差が検出された。概略的評価および細分化評価の評価値における評価者群間の比較により、概略的評価においては評価者第3群以外の各群は類似した評価値であることが明らかとなったが、細分化評価において評価者群間で相違があることが明らかとなった。各評価者群の概略的評価における精度を比較するために、各評価者群における全受験者について試験課題別の評価値の変動係数(CV値)を求め、CV値を評価者群間で比較し、評価者群内の評価の一致度を検討した。表7に示すように試験課題1に関しては評価者第3群が極めて大きなバラツキを示した。また、試験課題2および3に関しては評価者第3群および第4群のバラツキが大きく、第1群および第2群に対して有意の差が検出された。試験課題4に関してはすべての評価者群間での相違が小さくよく一致した評価を示した。概略的評価における各評価者群の評価精度は試験課題により異なっていたが、評価者第1群および第2群の評価は他の評価者群より良好な精度であることが明らかとなった。④ 概略的評価と細分化評価の構造解析概略的評価と細分化評価には良好な相関関係が認められたが、さらに概略的評価のバラツキの原因を細分化評価と対比することによって構造的に明らかにすることを試みた。受験者120名の各試験課題の概略的評価と細分化評価との関係を、概略的評価を従属変数として評価者群それぞれについて重回帰分析を行った結果を図7―1,2,3,4および表8に示す。なお、重回帰分析に先立って主成分分析により構造解析を試みたが、第1成分しか検出できず直線回帰と同様の構造であった。細分化評価の評価項目1-5まで同質の因子を評価していることが判明した。したがって結果がより明確に解釈される重回帰分析による構造解析を行った。得られた細分化評価における評価項目ごとの標準回帰係数は、各試験課題の概略的評価における各評価項目の重要度を示している。評価者群第2群(図7のN0.10-18)は、すべて試験課題にわたってバラツキが少なく、さらに評価項目1-5のすべてを均等に考慮した評価が行われたことを示している。これに対して評価者第3群(図7のNo.19-23)および第4群(図7のNo.24-28)では概略的評価がある特定の評価項目に依存する傾向が強く、しかも依存する評価項目が評価者個人によって異なることを示した。評価者第1群(図7のNo.1-9)では評価者第2群(図7のNo.10-18)に類似した評価を行っていた。概略的評価と細分化評価の構造解析から各評価者群が概略的評価において細分化評価項目1-5の各々に依存する度合いに差があることが明らかとなった。⑤ 概略的評価における評価者個人内のばらつき評価者個人内のばらつきを明らかにするために6名の評価者が概略的評価について、同一試験課題に対する2回の繰り返し評価を行った。従属2標本のt検定の結果を表9に示す。試験課題1においては、5名の評価者で2回の評価値に不一致が検出された。その他の試験課題については、2名の評価者では繰り返し評価値が一致していたが、その他の評価者では一致あるいは不一致があった。全体として繰り返し測定においては評価値が一致しにくいことを示していた。しかし、2回の評価における評価値の平均値の差の検定は最大値で12.7、評価段階1ランク未満であった。したがって、概略的評価における評価者個人内のばらつきは認められるが、評価に大きな影響を与えるものではないと考える。⑥ 概略的評価と細分化評価の所要時間の比較概略的評価および細分化評価に要した所要時間を表10にまとめた。評価者第1-4群の平均評価時間は、概略的評価においては92.1±12.9時間、細分化評価においては207.1±37.2時間で、概略的評価の所要時間は細分化評価の約50%で、短時間での評価が可能であった。評価者群間の所要時間の比較はデータ数が少なく困難であったが、評価者第1群および第2群の所要時間は評価者第3群および第4群に比較して短時間であり、またバラツキは少ない傾向であった。⑦ 概略的評価における総合計評価値と学内成績の比較今回の試験に受験した学生の概略的評価総合計値と平素の学内成績の関係を評価者群別にグラフで表したのが図8である。歯科技工士学科(本科)2年生Aランク(成績上位32名)の学生の評価値、Bランク(33名)およびCランク(31名)の学生の評価値は、評価者第1群の評価値ではそれぞれ288.9±42.7、260.2±50.5および268±54.5点で、Aランクの学生の評価値はBランクおよびCランクの学生より高点であったが、BランクとCランクとの評価値間には有意の差が認められなかった。評価者第2-4群の評価においても評価値には差があるが総合計評価値と学内成績の比較結果は評価者第1群と同様であった。歯科技工士専攻科(実習科)1年生Aランク(10名)、Bランク(6名)およびCランク(8名)の学生の評価値は、評価者第1群の評価ではそれぞれ313.2±46.5、285.8±55.4、300.4±62.2点で、Aランクの学生の評価値はBおよびCランクの学生の評価値より高点であったが、AランクおよびBランクとCランクとの間には有意の差が認められなかった。また、評価者第3群および第4群の評価においてはAランク、BランクおよびCランクの評価値の間には差がみられなかった。 歯科技工士学科2年生と歯科技工士専攻科1年生のそれぞれの受験者全体の評価値は、いずれの評価者群とも歯科技工士専攻科学生で高い評価値であった。評価者第1群による評価では歯科技工士学科2年生と歯科技工士専攻科1年生の受験者全体の平均はそれぞれ272.4±50.9、302.9±55.5点であった。 ⑧ 概略的評価における評価値分布と合格 率各試験課題別評価値が総合計評価値に占める位置を知るために、概略的評価における受験者の総合計評価値を各試験課題の評価点25点、50点、75点および100点について区分したときの延べ度数を調査した。その結果を図9の3次元ヒストグラムに示す。試験課題1-4ともに各試験課題で高得点(75点または100点)を得たものは、総合計評価値においても高得点を得ていたが、試験課題3および4では低得点(25点および50点)を得たものの度数が大きかった。評価点25点(不合格)を有する受験者の総合計評価点は課題1および3においては≦100-300に分布していた。また、課題2および4においては≦100-360に分布していた。25点の評価点を有する受験者といえども総合計評価点では高い得点を得ている例があることが明らかとなった。合格基準として合格点を400点満点の60%すなわち240点以上、および参考に200点以上としたときの不合格者数および不合格率を評価者群ごとに表11に示す。各評価者群によって不合格率は異なっていた。評価者第1群、第2群、第3群および第4群の評価における歯科技工士学科学生の不合格率は14.8、27.1、35.4および16.7%であり、また歯科技工士専攻科のそれは8.3、8.3、16.7および4.1%であり、歯科技工士学科、歯科技工士専攻科ともに第3群の評価者の不合格率はその他の評価者群の不合格率に比較して高かった。また、いずれの評価者においても歯科技工士学科学生に比較して歯科技工士専攻科学生で不合格率は著しく低かった。学内成績と不合格者についてみると、歯科技工士学科の学内成績上位(Aランク)の受験者では不合格者が学内成績中位(Bランク)および学内成績下位(Cランク)に比較して著しく少なかった。しかし、学内成績中位(Bランク)および下位(Cランク)の比較では下位の受験者で不合格者数が中位の受験者より少ない傾向にあった。歯科技工士専攻科学生の学内成績上位(Aランク)の受験者では不合格者が0で、学内成績中位(Bランク)および下位(Cランク)に比較して少なかった。歯科技工士学科学生の学内成績と実技試験成績は必ずしも平行していないことが明らかとなった。合格基準として、いずれかの試験課題の評価値に25点がある場合を不合格とする基準を採用した場合の不合格率を表12に示す。不合格率は評価者群によって差があったが、不合格率が最も高い試験課題4では、不合格率は評価者第1群、第2群、第3群および第4群でそれぞれ27.5、23.3、30.8および21.7%であった。いずれかの試験課題の評価値に25点がある場合を不合格とする合格基準を採用した場合の不合格率は比較的高いことが明らかとなった。また、25点があるため不合格となった受験者と総合計評価値240点未満で不合格となった受験者は必ずしも一致しなかった。2)アンケート調査結果について評価者に対するアンケート調査においては、評価・採点時間について概略的評価には時間を要しなかったが細分化評価では90%の評価者が、時間がかかったとし(図10)、評価にあたっては採点基準となる模型の必要性を述べている。一方、受験者の試験時間に対しては適切な時間であるが60%以上を占めた(図11)。また試験問題の内容については、評価者は75%以上が適切であると答えたが、受験者は43%であった(図12)。受験者の多くは歯科技工士学科2年生で、資格試験における実技試験をまだ経験していないことから十分把握できず、半数近くがわからないと答えた。今回使用した模擬試験用模型については評価者の50%以上が、受験者の約80%が不適切と答え(図13)、その多くは後方からの視認ができない、咬合位の不安定さなどを挙げていた。
