P値のいらない世界

統計処理におけるP値の扱いはとても悩ましいということを前回投稿しましたが、ものつくりの世界においてはP値だとか差が有意か否かなんてどうでもいいケースだってあります。

そもそも新しい技術や機器とか素材を導入するときに、統計解析しないと差が有意か否かが決められないようなことじゃ困るんですよね。つまりどんなにP値が小さくても一目見て分かるような圧倒的かつロバスト性の高い性能差がないとユーザーさんはそれを使おうという気になってくれないわけです。
近年では品質工学を用いて開発することで統計解析が不要なくらいの性能差が生み出せることは常識ですので、統計解析はコマーシャル用に念のために行うという程度でしょう。

逆にほとんど差がない場合でも、そのわずかな差を商品力としてアピールできるケースもあります。
同じモデルのクロスカントリースキー板で同じストラクチャーで２種類のワックスを比較するために同じ人が同一コースで1kmの滑走テストを各30本づつ行ったとして、そのタイム差が平均で0.001秒しかなくて統計学的に差が有意でなかったとしても、これが10kmのレースになると0.01秒の差になるわけで、これで表彰台の色が変わっちゃうケースもあるわけです。わしらのような市民レーサーには何ら関係ない、まさに意味のない差であっても表彰台の真ん中を狙うトップアスリートにとってはこの差はとても意味のある差ということになりますし、メダルを獲得した時に使われたワックスは一般ユーザー向けにもよく売れるようになるわけです。車のレースとかだともっとシビアですよね。

つまり、データを扱うに当たっては、単に数値や解析結果だけを見るのではなく、それが何を意味するのかを慎重に見極められなければ正しい評価ができません。どんなに優れた統計家であっても、その事象をよく知る専門家の経験や知識を抜きにしてデータを正しく評価することはできないということです。

統計学は数学の好きなものにとってはとても興味深い面白い学問なのですが、のめりこみすぎて統計に溺れてしまわないよう、その道の専門家の意見を尊重しながら謙虚な姿勢でデータと向き合ってゆきたいですね。