LP A/B テスト結果の自動分析

コース構成

このコースで学ぶこと

1. 01

   A/B 分析の現状の課題

   数値を出すだけで終わり、次の仮説に繋がらない。Claude Code で質的考察まで一気通貫に。

   多くの企業の A/B 分析は『A が CVR 1.5% で勝った、B は 1.2%』で終わります。本当に必要なのはその先、『なぜ勝ったか』『次にどの仮説を試すか』。

   Claude Code に A/B の数値データ + LP のスクショ・コピー・構造を渡せば、統計的有意性のチェック + 質的考察 + 次の仮説まで一気通貫で生成できます。

   • 統計的有意性（サンプルサイズ・p 値）
   • 勝因の仮説（コピー・色・配置・速度）
   • セグメント別の傾向（モバイル vs PC）
   • 次に試すべき A/B
   データ準備
2. 02

   データ準備

   A/B 各バージョンのデータ + LP の構造情報を 1 か所に。

   text

   experiments/2026-05-hero-copy/
   ├─ hypothesis.md           # 何を仮説に試したか
   ├─ variant-a/
   │  ├─ screenshot.png
   │  ├─ html.html            # 該当 LP の HTML
   │  └─ data.csv             # 期間中のメトリクス
   └─ variant-b/
      ├─ screenshot.png
      ├─ html.html
      └─ data.csv

   A/B 分析の現状の課題分析プロンプト
3. 03

   分析プロンプト

   数値 + LP 構造を読んで、勝因仮説まで出す。

   text

   > experiments/2026-05-hero-copy/ の A/B 結果を分析。
   
   ## 1. 数値分析
   - 各 variant の CVR / 直帰率 / 滞在時間
   - サンプルサイズ
   - p 値（ベイズでも良い）
   - 統計的に有意な差があるか
   
   ## 2. セグメント別
   - デバイス別（モバイル / PC / タブレット）
   - 流入別（広告 / オーガニック / リファラ）
   - セグメントによって勝者が変わる場合は明示
   
   ## 3. 質的考察
   - LP の HTML とスクショを読み比べ、A と B の違いを言語化
   - 勝因の仮説 3 つ（コピー / 色 / 配置 / 速度 / etc）
   - ユーザー視点：『なぜそう感じたか』を推測
   
   ## 4. 次の仮説
   - 今回の結論から、次に試すべき A/B を 3 つ提案
   - 期待効果と実装コストも併記
   
   ## 出力
   reports/lp-ab/2026-05-hero-copy.md（1 ページ）

   出力イメージreports/lp-ab/2026-05-hero-copy.md（要約）

   # A/B 分析：ヒーローコピー
   
   ## 数値分析
   | variant | CVR | 直帰率 | サンプル数 |
   |---|---|---|---|
   | A | 1.52% | 41% | 4,820 |
   | B | 1.18% | 48% | 4,790 |
   
   p 値 0.03 で **A が有意に勝利**。
   
   ## 質的考察（勝因仮説）
   - A はベネフィットを 1 行目に置き、視線移動が短い
   - B のコピーは情報過多で離脱を招いた可能性
   
   …（セグメント別 / 次の仮説 3 件と続く）

   データ準備統計的判断の注意点
4. 04

   統計的判断の注意点

   AI は p 値を出せるが、判断ミスもする。最低限の知識は必要。

   • サンプルサイズが小さい（< 1000）と有意差が出にくい
   • 同時に複数 A/B を走らせるな（多重比較問題）
   • ローカル時刻・曜日のバイアスに注意
   • デバイス別を見ないと『全体勝ち / モバイル負け』のような落とし穴
   • ベイズ分析の方が直感的、p 値だけで判断しない
   分析プロンプトSkill 化と振り返り運用
5. 05

   Skill 化と振り返り運用

   毎週・毎月の A/B 振り返りを `/lp-ab-analyze` で自動化。

   手を動かす

   0 / 4

   • 上記プロンプトを `.claude/skills/lp-ab-analyze/SKILL.md` に
   • テスト前に hypothesis.md を必ず書く文化に
   • 週次で結果分析、月次で『学んだこと』集約
   • 3 ヶ月後、自社の A/B 勝率と学習速度を測定

   理解度チェック

   1. Q1.LP A/B 分析を Skill 化したあと、組織として『学習が進む』ための文化的習慣は？

      A勝った LP だけ記録するBテスト前に hypothesis.md（何を仮説に検証するか）を必ず書いてから走らせるCAI に勝因仮説を任せて人間は見ないD勝率を測定しない

   2. Q2.A/B テストで AI が出した『勝因仮説』を意思決定に使うときの注意点は？

      AAI の仮説をそのまま結論として展開するBサンプル数・統計的有意性・期間の偏りを人間が確認したうえで採用するか判断するCAI の仮説を毎回そのまま CEO に送るDAI を信じて検証しない

   3. Q3.LP A/B テストの入力データとして AI に渡すべきものは？

      A両 LP の HTML / コピー、CV 数・直帰率などの集計済みデータ、hypothesis.mdB個別ユーザーの氏名・メール・電話などの PIIC顧客の購入履歴の生データDクレジットカード番号
   統計的判断の注意点