今日もAIに詰められた社会なめお：A/Bテストってなあに？
なめおがAI先生にマーケ用語を1語ずつ教わるシリーズ。「計測と実験」のはなし、今日は実験のほう。2つの案を出して、勘じゃなくて数字で決める「A/Bテスト」。えらい人の勘、けっこう外れるらしい。
きょうの授業
なめおねぇ、エービーテストってなあに？AとB、なんか二択クイズみたいだね。
AI
先生近いです。A/Bテストは、2つの案を同時に出して、どちらの数字が良かったかで決める方法です。
なめお2つ同時に出す。。どういうこと？お店だったら、看板を2枚出すの？
AI
先生イメージはそれです。たとえばアプリの申し込みボタン。赤いボタン（A案）と青いボタン（B案）を、来た人に半分ずつ見せて、どちらがよく押されたかを比べます。
なめおへぇ。。半分の人には赤、半分の人には青。それで多く押されたほうが勝ち？
AI
先生そうです。同じ時期に、同じ条件で試すのがポイントです。片方だけ後で出すと、時期の差なのか、案の差なのか、わからなくなります。
なめおなるほどねぇ。。でもさ、赤と青なんて、どっちがいいか、えらい人が決めればよくない？えぇ。。わざわざ試すの？
AI
先生そこがこの方法の肝です。人の勘は、けっこう外れます。「絶対こっちが良い」と思った案が、実際に出すと負けることは珍しくありません。
なめおえぇ。。えらい人の勘でも、外れるんだ。。
AI
先生はい。だからA/Bテストは「勘で言い合うのをやめて、実際のお客さんに決めてもらう」やり方だと言えます。言い争いを、実験で終わらせるんです。
なめお勘じゃなくて実験かぁ。。なんか、それちょっといいね。もめなくて済むもんね。
AI
先生そこに気づくのは鋭いです。数字が出れば、立場が上の人でも「じゃあB案で」と納得しやすくなります。
なめおで、その「数字」って、何を見るの？押された数？
AI
先生目的によります。押された割合を見たいならクリック率、最後に買う・申し込むところまで見たいなら、CVRです。
なめおあ、CVR。。聞いたことある気がする。押して来た人のうち、買うとこまで行った割合、だっけ？
AI
先生よく覚えていました。A/Bテストでは、その最終的な成果の率——たとえばCVR——で勝敗を決めることが多いです。押されただけでは、勝ちにしません。
なめおふーん。。じゃあ「なんとなく良さそう」で決めてたことを、ぜんぶ試せるってこと？値段とか、言葉とか。
AI
先生理屈の上では、そうです。見出し、ボタンの色、値段の見せ方。ただし一度にたくさん変えると、どれが効いたかわからなくなるので、ふつうは1か所ずつ変えて比べます。
なめお1か所ずつ。。めんどくさ。。いっぺんに変えたほうが早いのに。
AI
先生気持ちはわかります。でも「早く終わらせる」より「どれが効いたかを正しく知る」ほうが、次に活きます。急がば回れ、です。
なめおむむ。。効率厨としては、ちょっと納得いかないけど。。でも、間違った理由で勝った気になるほうが、あとで損か。いや、それは損だね。
AI
先生その通りです。それが実験の作法です。
なめおあとさ、両方に見せるって言ったけど、ちょっとの人数でやって、すぐ決めちゃダメなの？
AI
先生大事な点です。人数が少ないと、たまたま出た差を「勝ち」と勘違いしやすい。ある程度の数がたまるまで待つ必要があります。ここは奥が深いので、また今度。
なめおはぁい。。まあ、A/Bテストなら流石にもう覚えたよ。「2つ出して、勘じゃなくて数字で決める。1か所ずつ、ちゃんとした数で」でしょ。……えらい人の勘より、僕でも数字は読めるもんね。
AI
先生頼もしいです。
なめおの語彙ノート
▶ NAMEO'S NOTE
きょうのまとめ
・A/Bテスト＝2つの案を同時に、同じ条件で出して、数字が良かったほうを選ぶやり方
・勘や好みじゃなく、実際のお客さんの反応（クリック率やCVRなど）で決める
・コツは1か所ずつ変えることと、ちゃんとした人数がたまるまで待つこと
・勘や好みじゃなく、実際のお客さんの反応（クリック率やCVRなど）で決める
・コツは1か所ずつ変えることと、ちゃんとした人数がたまるまで待つこと
よくある質問
A/Bテストとは何ですか？
A/Bテストは、2つの案（A案とB案）を同時に、同じ条件で出し分けて、どちらの数字（クリック率や成約率など）が良かったかで優劣を決める方法です。勘や好みではなく、実際のユーザーの反応で判断します。
A/Bテストでは何を比べればいいですか？
目的に応じた指標を1つ決めて比べます。押されやすさを見たいならクリック率、購入・申し込みまでの成果を見たいならCVR（成約率）などです。一度に多くの箇所を変えると、どの変更が効いたか分からなくなるため、通常は1か所ずつ変えて比較します。
A/Bテストの注意点は何ですか？
人数が少ないうちは、偶然の差を「勝ち」と誤解しやすい点です。ある程度データがたまるまで待つこと、同じ時期・同じ条件で比べることが大切です。
▶ この回の動画版（TikTok / YouTube）は準備中だよ
▶ このシリーズについて
「今日もAIに詰められた社会なめお」は、合同会社どうぶつえんの広報・社会なめおが、AI先生にマーケ用語を1語ずつ教わっていくシリーズです。なめおは自分の可能性を疑っていません。