悩めるピーチ姫

２つの群が違うと言えるのか否かについて有意差検定を行うとき、あらかじめ有意水準を定めましょうという教えがあります。
算出されたP値を解釈するにあたって、前もって決めておいた基準と照らし合わせて、それよりも大きいか小さいかで２つの群の差に意味があるか否かを決めましょうということなのですが、この基準（有意水準）はほとんどの人が0.05だったり0.01に設定します。

ある２つの群から得られたデータを使って、ある人は有意水準を0.05としてPがこれよりも小さかった場合に差が有意だと解釈することにし、別の人は全く同じデータを使って有意水準を0.01としてPがこれよりも小さかった場合に差が有意だと解釈することにしたとすると、この二人は全く同じデータを使っているので同じP値が算出されます。違うのは事前に定めた有意水準だけです。
何が起こるかというと、算出されたP値が0.03だったとすると、有意水準を0.05に定めた人は差が有意であるという解釈となり、0.01に定めた人は差が有意かどうかわからないという解釈になります。
同じデータを使っているにもかかわらず二人の解釈が分かれるということになります。

結局のところ、有意水準をあらかじめ定めるという行為は、P値を算出した後に都合よく有意水準を後出しするということをしないために、実験計画の段階でそうしておきましょうというだけのことなのです。
とはいえ有意水準を後出しせずあらかじめ0.05に定めていた場合でも、P値が0.049だと差が有意であるという解釈になり0.050だと差が有意かどうかわからないという解釈になるのですが、この0.001の差が解釈を左右するほどの確率差なのか？

P値は悩ましいですね。