「有意差」とは
A/Bテストで「Bが3%、Aが2%」でも、サンプルが少なければ偶然そうなっただけかもしれません。 有意差の判定は、その差が「偶然では起こりにくい＝本物の差といえる」かを、確率で見るものです。 信頼度95%なら「偶然でこの差が出る確率は5%未満」という意味です。
判定が出るには数が要る
差が小さいほど、有意と判定するには多くのサンプルが必要です。 「まだ有意ではない」と出たら、それは結論を出すには早いというサインで、 Bがダメという意味ではありません。もう少しデータを貯めてください。
片方だけ良く見えても飛びつかない
配信初日の数字で判断すると、たいてい間違えます。 十分な数が貯まり、有意差が出てから勝者を採用するのが、遠回りに見えて確実です。
このツールについて
計算はすべてブラウザ内で行われ、入力内容がサーバーに送信されることはありません。 2標本の比率の差の検定（両側z検定）による簡易判定です。厳密な検定は統計の専門家にご相談ください。