Survey design：研究に落としこむ正しいアンケート調査

みなさまこんにちわ。

今週のHarvard  Medical school大学院の方のテーマはSurvey designです。これは以前自分もGCSRTプログラムで学習したつもりですが、やはり大学教員たるもの若手にちゃんと教えることができるようになるようにPitfallsなどをまとめておこうと思います。

 

アンケート調査の作成時の陥りがちな5つのこと。

＊Avoiding five common pitfalls of Survey design. Academic Medicine, Vol. 86. no,10/October 2011.

１：一つの項目に聞きたいポイントを２つ以上入れてしまっている。ex) 何か問題があった場合に、どれくらいの頻度で看護師や上級医に相談していますか？

理由：並列になっていると、上級医にはあまり相談しないれど、看護師にはよくする場合には矛盾で答えられない。

打開策⇨Sruvey ietem should adress one idea at time.一つの質問に一つの内容！

２： 質問内容にNegativeなイメージの言い回しを入れる。ex) どれくらい朝の授業で遅刻しますか？

理由：Negatively worded survey items are challenging for respondents to comprehend and answer accurately.　回答者はネガティブな回答は無意識に避け、正しく回答しない傾向がある。また、二重否定などの今わしも同様で、回答者は混乱する。 

打開策：Yesと答えが方が良いものにはYes. YesにはYes。NoにはNo. ex）週の平均でどのくらいの頻度で朝授業に間に合っていますか？

３：質問ではなく回答者の宣言になってしまっている。ex) 私はこの授業でAを習得した自信がある。

理由：Surveyは勘違いされているが、基本的には会話である。より正しい情報を引き出そうと思ったら、会話のキャッチボールにするべきで、一方的に宣言させてしまってはならない（回答者のバイアスが発生しやすくなる）

打開策：宣言タイプのから質問へ。ex)あなたはこの授業でAを習得した自信がありますか？ 

４：同意を聞く回答様式になっている。ex)The high cost of health care is the most important issue in America today. (現在のアメリカでは医療費は最重要課題である) • strongly disagree • disagree • neutral • agree • strongly agree

理由：興味のある構成要素固有の回答項目を使用します。そうすることで、回答者が無関心になることが減り、質問の構成要素に回答者が集中できるようになります。そうすることで、測定誤差も少なくなる。

打開策：ex) How important is the issue of high health care costs in America today? 

５：選択肢の数が多すぎる、少なすぎる。ex) 選択肢3、ないし10個

理由：一般原則として、選択肢が少なすぎると調査の信頼性が落ちてしまう。

打開策：選択肢は5-7個程度でちょうど良い、先行研究的には9個以上に増やしたからと言って調査の精度をあげることはなかった。ex) 選択肢は5-7程度。

考えるべきポイント！

Relevancy and accuracy are two ideals that encompass the main outcome of creating reliable surveys. These two principles work together to write effective survey questions. To achieve relevancy, keep the following factors in mind. 関連性と正確性は、信頼性の高い調査を作成するための主要な成果を包含する2つの理想。

集めるべき必要な情報をまず見極める

・表現のスタイル、タイプ、質問の順序を工夫する。
・アンケートをアトラクティブにし、文章の長さや、全体に回答するのにかかる時間に注目する。
・アンケートを作成する際には、著者は自分自身を典型的な回答者として勘違いしてはいけない！そのような教育を受けていない回答者の立場であればどう回答するかを考える。

・関連性と正確性について考慮しなければならないことは質問の書き方と全体の長さ。なんのために、目的と、どのようなデータとして解析するか逆算する。

・センシティブな情報は正確性が落ちるために工夫する、ex) 実年齢を聞くよりは、生まれた西暦を聞くと回答の正確性が増加する。

 ・読みやすい質問を使用する - 読みやすく、素早く簡単に回答できる質問を作成。これにより、質問が完全に読まれる前に回答者が回答に飛びつくのを防ぐことができます。(質問や回答のリストが長くなると、データの質が低下することがあります, Iarossi 2006, 44)

・回答者に関連性のある質問にする - すべての質問が、すべての回答者および調査の目的に関連するものである必要がある。よってもし〜ならばなどの仮定の質問は避ける(Iarossi 2006, 44)。もしあなたが、タイのコーケンの市長の選挙についてアンケートされたとして、興味ないからちゃんと回答しないはず。

・回答者にとって苦痛のない質問を - アンケートの質問は、回答に可能な限り労力を必要としないものでなければならない。ほとんどの人は、難しく考えたり、時間をかけたりせずに、素早く回答してアンケートを完了させたいと考えているので、Rating scaleの真ん中のつけて終わったりなど。

・目的と場合によって異なるのでこうすれば完璧というsuveryの質問作成はないが、良い悪い質問紙を作るポイントはある。（Be Brief:簡潔に、Be Objective:目的を明確に、Be Simple：シンプルに、Be Specific：具体的に）です

・Leading Question Biasを避ける。よくある質問自体が回答を先導するのを避ける！

Bad Example: We have recently upgraded SurveyMonkey‟s features to become a first-class tool. What are your thoughts on the new site?

Replace with: What are your thoughts on the upgrades to SurveyMonkey?

・Loaded questions biasを避ける。言葉やステレオタイプ、威信的なイメージなど、感情的な項目に作用してしまう。「回答者のエゴや要望を煽ったり、回答者のプライドを歪めたりするような言い回しは避ける。これは、回答者を特定の回答へ導く結果へ。

・回答者が質問内容に対して精通していると勝手に仮定しない。対象者は適切か？

・否定的な表現や二重否定的な表現は常に避ける。また【常に】や【決して】や【絶対に】などの断定的な言葉の使用は、回答者に質問への回答を避けさせる原因となる。

・曖昧さを避ける。人の思考プロセスはそれぞれ異なり人によっては異なる意味を想起する。ある人にとっての「しばしば」は週に1～2回、他の人にとっては月に数回という意味かもしれないので、明確にすると良い

・Balanced or non-balanced rating scaleにするかどうか。Here is where you decide if you want to provide a “neutral” middle category to your scale. If a neutral choice is a possibility, then you may want to include a midpoint answer choice. However, if you want the respondent to take one side over the other, then an even number of categories is suggested. This will force respondents away from the neutral response (Iraossi 2006, 61).

中間をつけることで、賛成、否定の両方の傾向でもない中間の層を拾えるが、質問の内容によっては中間になるかもしれない。本当にどちらかよりに明らかにしなければならない内容であれば偶数にしてしまうのも良い。N/Aとすることも場合にはOK。

・質問順序の作り方も：良いアンケートのデザインは想起を促すのに役立つのと、質問の順序は回答者の興味を和らげたり、喚起したり、調査の意図に対する疑問を解消したりすることにもつながる。一般的なガイドラインとして、質問の順序には、

Opening questions冒頭の質問：参加者は調査の目的を明確にする。参加者の興味と全体的な参加意欲を刺激するように。

Question flow 質問の流れ：アイデアの流れを汲み取り、回答者の能力に合わせたもの。トピックはグルーピングする。

Location of sensitive questionsセンシティブな質問は最後に：アンケートの最初に難しい・センシティブな質問を入れると回答者がアンケートを拒否して早々に退出してしまう可能性を考慮。

3つの領域を考えると良い。

・アンケートの構造を設計する際には、最初から最後まで一貫性のある形式とレイアウトが重要。わかりにくい、不十分に構成されたアンケートは、回答者が質問を飛ばしたり、アンケートへの回答を完全に拒否したりする可能性。

・レイアウトに注意を払い、回答者側、またはコーディングやデータクリーニングの部分でエラーが発生する可能性を極限まで減らす。解析からの逆算が必要。論理的で、識別性、コーディング性、および保存の容易性を熟慮。要は、データをとった後に偏っていたり、カテゴリカルデータに落とし込めなかったり、missing dataやデータ入力など含めて解析に使えるか。

・Pilot testを実施して、実際の必要な時間、データの漏れやすさ、上記が問題ないか最後ではあるが、もっとも重要な仕事。下記チェックリストを用いると良い。

✔︎回答者はアンケートの目的を理解できるか?
✔︎回答者は質問に安心して答えられるか?
✔︎アンケートの言葉遣いは明確で丁寧か?
✔︎回答者にとって使用する時間は適切か?
✔︎選択肢は、その問題に関する回答者の経験と一致しているか。
✔︎回答する前に、回答者が長く考えすぎたり、一生懸命考えたりする必要がある項目がないか? どの項目か?
✔︎どの項目が感情を揺さぶってしまうか？（イライラして、恥ずかしさ、答えにくさ）
✔︎質問のどれが回答に偏りを生じさせルカ? 
✔︎収集された回答は、調査の目的を反映するデータてなるか?
✔︎受け取った回答には十分な多様性があるか?
✔︎アンケートは長すぎないか?
✔︎pilot test施工車の意見では何か他に重要な問題が見落とされていないか?

 

 

Quality improvement におけるControl Chartの選択の方法

Improving health careのコンセプトを真に理解して解析するためのもっとも大事なコアの部分です。

これは、臨床研究で言えば、FINERたてて、Null hypothesisとHaを決めてDataの検定を決定するときのコアだと思っていただければと思います。

医療の質と改善の学問はかなり楽しいです。これは・・・自分のような研究者も好きで、Activitistでもあり、教育が臨床が好きな人に向いているとしか思えません。

COVID-19で辛いことが多いですが、前向きに、全ての仕事に感謝して取り組みます。

 

一見わかりにくいですが、ImprovingのためのDataはAtrributes data(BinaryやDichotomusやCategolical dataですね)かVariables (Continuous) dataか？を考えます。

この時に大事なことは、CountとMeasureの違いですね。前者は一個二個など数えられること、後者はメジャーで計測するイメージであれば良いかと思います。

さらに極論すればこうなります。

はじめに

まず前提として、物事がうまくいっているかどうかをみたい時に、折れ線グラフを作ってよくあらわしますよね。この折れ線グラフを走らせたものをRun chartと仰々しく名前がついております・・。（一瞬、なんのことかわかりませんでした）。その折れ線グラフの解釈をより正確に行い、介入やマネージメンに用いるためにControl chartが作られたといえます。

Control Chart 

Control chartはRun chartの延長線上にあるのでRun chartがもつすべてのことを含んでいる。医療のプロセスの平均から3σの距離に上限管理限界UCLと下限管理限界LCLを追加したものである．これは，プロセスの能力を示し，プロセスが許容されるパラメータの範囲内にあるかどうかを監視するのに役立つ．

次に

評価したいOutcomeがmeasurement/VariavleかAttributeかを考えます。前者は主に連続変数、後者はいわゆるカテゴリカルデータです。

ここでは前者をまず考えます。

 

わかりやすくいうと、横軸に日付やイベント数を例えば書いたとして、それがサブグループであれそのサブグループの中の平均や標準偏差を見ることができますね。(その日の血液培養陽性率とか)その場合はXBar-Chartを使うことになるわけです。

XBar Chartについて

極論すると、Xbarの意味は、”sample mean”という意味ですので、その値は集団の結果であるはずです。なので連続変数で集団の値であればX-Bar chartを選択します。そして、その中でもXbar-RかXbar-Sに別れます。

・Xbar-R

ここも極論すると、Xbar-R generates a sub-chart of the Range of the values within each subgroup 

Xbar-R Chartはその集団のRange(変化の幅：最大ー最小)を反映したグラフを下にもう一つつけます。なので、Xbar R (rangeのR)Chartなんですね。例：CBCの採血からの表示時間を1日３つのランダムサンプルをとるとして、1日目が72、78、84分だとする、この場合Rは84-72=12分。これを別のChart として表示していきます。Boxplotsで表示も可能でしょう。

・Xbar-S

ここもさらに極論するとXBar-S uses the StdDev of the within-group measurements for the control limits or Sigmas。

要するに、グループ内の標準偏差を用いて表示します。

そこで、はて？それでどう使い分けるのか？と気になると思います。これは慣習的に（きっと深い意味があるのかもしれませんが、P-valueと一緒です）If subgroups sizes>10, use Xbar-S、そのサブグループのサンプル数が10を超える場合はXbar-S Chartを使うということになっています。

まとめますと、X-Bar Chartsを使うときは！
1)Distribution: Normal　できれば
2)Data type: MeasurementsつまりContinuous data
3)Data group type: Rational subgroups >1 observation、基本２以上。10を超えるとXbarーRからXbarーSへ変更

と極論で斬ると良いでしょう。ふぅ、やっと頭の整理がつきました。

 

IR-chart(I chart, Xbar chart)について

ここがまた当初混乱の元ですが、このI chartは色々な名前があります。そもそもIndividual dataに対して用います、根本原則でIndividualとはサブグループのn=1になります。(つまり、横軸は日付で縦軸は体重などの場合ですね)。が上記のようにRangeがついたらIにRがついてIRです。また、それらは単にXbar-chartと呼ばれることもあります。これらなんと全て同じ意味です。自分の名前に少し圧倒されたように初学者が陥りやすいところです。日常でよく見るものなので基本中の基本のChartなので深く考えずに上記名前は全て同じ！と理解すると良いでしょう（この辺りは、日本語の教科書もなく、ネットにも見られないので勝手に極論します）

 

P-chartについて

• Binary Outcome!!
• - Y軸はパーセンテージ/比率になる
•  σとcontrol limitは、標準誤差に基づく。
• 二項分布
• 各ポイントにはそれぞれのCLがある
• 狭い限界≠変動性が減少
• 大規模サンプルサイズ
  - CLからプロセスの予測ができない（同じものを除く
  サンプルサイズ)
  - 能力は全体の割合

1. Maximum subgroup size: When n>1000 and p>.1%, use an IR-chart instead of a p-chart. The control limits on the p-chart will be too narrow. 母集団が大きくて1000を超えたり、p>0.01→代わりにIR-chartを使う。
2. Rare events: When p <1.5% and between events or opportunities between events plotted on an IR-chart or specialized chart such as t-chart)
3. P should be <50%: Customarily, we chart “non-conformities”, but if p>50%, then reverse the measure and chart conformities instead. 起こる確率は50%未満でないといけなくて、それより大きい場合は分母の対象を逆に。

1) Lloyd P. Provost、 Sandra MurrayThe Health Care Data Guide: Learning from Data for Improvement より引用

 

P-chart, and U-chart/C-chartの違い

ここでも極論すると、P-chartは教科書的には、Classification of items/unitsと書かれていますが簡単にいうとBinominal distributionをとるものを使います。Yes or no、Pass/ Failなどのアウトカムです。調査した数のうち何らかの属性を持つ項目の数と持たない数がはっきりとわかる場合ですね。例えば、帝王切開数/全出産数などが良い例です。

次に、UとC-chartはPoisson分布をとることが前提です。（Poisson分布については基本なので、また時間のあるときに書きます）。簡単にいうと、エラーやアクシデント、など時空間の領域または調査単位で発生した事象の数といえます。

UとC-chartは

• The incidents are counts (whole numbers)   Event のカウント！
• Incidents at any one place or time are independent of incidents at other places or times：その場所や時間で発生した出来事は他の時空間(笑)とは独立している。
• The area of opportunity (region) is well defined (との機会の領域は明確になっている、その施設内や部門内などがわかりやすいかも)
• The chance of an incident at any one place or time is small（そのイベントが起きてしまう確率は低い）
• The area of opportunity (region) for each subgroup is: Constant! （そのエリアや部門が変動する場合は確率が変わるので、一定の場合は前者はC-chartに、変動する場合は後者はU-chartになる）下を参照

**勝手な覚え方、CはCONSTANT!でCOUNT!です、UはUnstableのU!!

C-chartとU-chartの違い：大事。エラーが起きる（カウントできる）もので、エラーが起きなかったものを測定できない場合は、U or C chartになる。さらに、U-chart とC-hartの違いは、測定期間中のRiskは同等であると考えられるかどうか。ほぼ同等であれば、C-chartで、unequalであればU-Chartになる。

 

 

＊https://sixsigmastudyguide.com/control-chart/　　より

前回載せました別のフローチャートではこのようになっております。

教科書で多く見られるのは

平均＋幅　Xbar+R chart 

平均＋σ　 Xbar+S chart 

個々の値＋Range chart はXmR chartを選択

 

*パーセンテージにご注意

Percentageはcontinuous measuresに見えるが、多くの場合は違う。ここポイント。

- 小数点があり、スケールが連続しているので連続データのように見えますよね。
-例えば、18.3%の患者に有害な転帰があった- アウトカムの分類は実際にはBinaryです（Bernoulliプロセス）。
- しかし、時には本当に連続していることもあり、その代表例は体脂肪率。

- サブグループが非常に大きい場合はp-チャートの管理限界が非常に狭くなるわけなので見かけ上の有意な管理外シグナル(コントロールチャート上で意味のある)を得ることができてしまいます。これは、研究における大規模な標本サイズと似ていて、小さな違いは統計的には有意であっても、臨床的には実際には全然意味がない場合を理解。
- ガイドライン的には サブグループ（分母）が1000以上の場合、IR-チャート変更すべき

 

Donald Wheeler says when in doubt, you can use the IR chart for any type of data: counts, rates, events, measurements, etc.

Wheeler先生はおっしゃったわけです、迷ったら、数、割合、イベント、計測数あらゆるものを試してとりあえず表してみろ。と。