悬浮球展示返利比例 V1.0 — AB 实验数据回收报告

需求:悬浮球 hover 露出当前商家返利比例 | 上线 2026-06-12 | 版本 6.30.49 | 数据截至 2026-06-17
分组:对照组 6.30.30-1(hover 不展示比例) vs 实验组 6.30.30-2(hover 露出返利比例) | 全量五五分流
v7(2026-06-17):新增「截至 6-17 累计效果」(漏斗 + 订单 + 卸载护栏),样本量较初版放大 ~10×。
⚠️ 数据窗口与放量:实验 6-15 起大幅放量(曝光 ~10 倍),样本量从早期几千升至 hover ~4.6 万/组、点击 ~800/组,噪声大幅下降,结论比初版(6-13~6-14)更可信。曝光表落到 6-16(6-17 未落),故曝光相关指标取 6-13~6-16 对齐窗口;订单为早期快照(T+4 回调未满,会再涨)。

一、截至 6-17 累计效果(最新 · 全量口径)

1.1 主漏斗(曝光 6-13~6-16 对齐窗口)

指标对照组 6.30.30-1实验组 6.30.30-2差异
曝光UV230,253228,932均衡 ✓
hoverUV45,81245,229
hoverCTR(hover/曝光)19.90%19.76%−0.14pp
看到返利UV014,800实验组 32.7% hover 看到
未看到UV45,81233,415
点击CB模块·出站UV805778
点击CTR1(点击/hover)1.76%1.72%−0.04pp
点击CTR2(点击/曝光)0.35%0.34%−0.01pp

hover 也已落到 6-17(对照 63,708 / 实验 63,353,点击 1,209 / 1,109),趋势一致。点击CB模块 = CB_XFPOPUP 出站(1:1)。

1.2 订单早期快照(点击 6-13~6-16,订单 created_time 至 6-17)

指标对照组实验组
CB 订单数206205
下单用户138120
佣金$517.37$436.52
GMV$19,878$15,938
下单用户 / 点击用户17.1%15.4%

订单经 点击.click_id → 出站 tracking_id → 订单表 tracking_id 关联。早期快照:6-13 的单基本到位、6-16 的单仍在 T+4 回调中(会再涨),终态建议 ≥14 天(约 6-26)再看。

1.3 卸载护栏(hover cohort,6-13~6-17)

卸载UV卸载率(/hover)
对照1980.311%
实验1490.235%
差异−49−0.076pp

卸载用 uninstall_feedback_impress(反馈页曝光,当前数据无 uninstall_feedback_after),按 hover cohort 的 client_id 归组。

综合结论

二、环节链路与口径

完整环节:① 曝光(出现悬浮球)→ ② hover 悬浮球 → ③ 看到 / 未看到返利(is_cashback_ball=1/0)→ ④ 点击悬浮球 → 出现面板 → ⑤ 点击面板 CB 模块 → ⑥ 出站。
⑤ 点击面板 CB 模块(cb_log scene='FloatWin' action='click')点击同秒即产生 click_type=CB_XFPOPUP 的 CB 出站(1:1)。hover CTR 非功能敏感指标(hover 在比例露出之时/之前发生,两组应持平)。
环节识别条件去重键
曝光v_dwd_cp_log_impress_other_log_dicategory='float_win' AND label='FloatWin_Icon'guid
hover / 点击CB模块v_dwd_log_cp_click_cb_log_discene='FloatWin' AND action='mouseenter' / 'click'client_id
出站v_dwd_log_parse_outgoing_log_ditracking_id=点击.click_id AND click_type='CB_XFPOPUP'client_id
订单dwd_trd_user_orders_ditracking_id=点击.click_id(用 created_time 过滤,pt 不可用)tracking_id
卸载v_dwd_log_parse_event_analytics_log_dievent='uninstall_feedback_impress'(id 列为 client_id)client_id
分组extra.style6.30.30-1 对照 / 6.30.30-2 实验(非 ab_group_id)

三、早期明细(6-13~6-14 · CB 商家无偏子样本)

初版用 CB 配置表(is_cash_back='YES' 最新快照,domain×country)做无偏子样本,结论与上方全量一致。汇总(去重):

曝光UVhoverUVhoverCTR点击/出站UV点击CTR1看到返利UV未看到UV
对照6,2851,12917.96%524.61%01,129
实验6,2881,08717.29%373.40%967133

注:CB 商家口径在窄商家集下点击 CTR 偏高(4.61%/3.40%);放量后全量口径(第一节)样本更大、更稳,作为最终读数。两口径方向一致:实验组持平略低。

四、历史口径修正记录

五、附录:关键 SQL

① 全量漏斗(hover→看到/未看到→点击CB模块·出站,按组)
SELECT CASE WHEN h.grp_num=2 THEN 'exp_实验' ELSE 'ctrl_对照' END AS grp,
  COUNT(*) hover_uv, SUM(saw_flag) 看到, SUM(notsaw_flag) 未看到,
  SUM(CASE WHEN bc.client_id IS NOT NULL THEN 1 ELSE 0 END) 点击_出站
FROM (SELECT mo.client_id,
        MAX(CASE WHEN mo.extra LIKE '%6.30.30-2%' THEN 2 ELSE 1 END) grp_num,
        MAX(CASE WHEN mo.extra LIKE '%"is_cashback_ball":1%' THEN 1 ELSE 0 END) saw_flag,
        MAX(CASE WHEN mo.extra LIKE '%"is_cashback_ball":0%' THEN 1 ELSE 0 END) notsaw_flag
      FROM v_dwd_log_cp_click_cb_log_di mo
      WHERE mo.pt BETWEEN '2026-06-13' AND '2026-06-16' AND mo.scene='FloatWin' AND mo.action='mouseenter'
        AND (mo.extra LIKE '%6.30.30-1%' OR mo.extra LIKE '%6.30.30-2%')
      GROUP BY mo.client_id) h
LEFT JOIN (SELECT DISTINCT cl.client_id FROM v_dwd_log_cp_click_cb_log_di cl
           WHERE cl.pt BETWEEN '2026-06-13' AND '2026-06-16' AND cl.scene='FloatWin' AND cl.action='click') bc
  ON h.client_id=bc.client_id
GROUP BY grp;
-- 曝光另查:impress_other label='FloatWin_Icon' + style,COUNT(DISTINCT guid) by style。
② 订单(点击 click_id ⨝ 订单 tracking_id,按组)
SELECT CASE WHEN m.grp_num=2 THEN 'exp_实验' ELSE 'ctrl_对照' END grp,
  COUNT(*) CB订单数, COUNT(DISTINCT bc.client_id) 下单用户,
  ROUND(SUM(o.commission),2) 佣金, ROUND(SUM(o.sales),2) GMV
FROM (SELECT DISTINCT cl.client_id, cl.click_id FROM v_dwd_log_cp_click_cb_log_di cl
      WHERE cl.pt BETWEEN '2026-06-13' AND '2026-06-16' AND cl.scene='FloatWin' AND cl.action='click' AND cl.click_id<>'') bc
JOIN (SELECT client_id, MAX(CASE WHEN extra LIKE '%6.30.30-2%' THEN 2 ELSE 1 END) grp_num
      FROM v_dwd_log_cp_click_cb_log_di
      WHERE pt BETWEEN '2026-06-13' AND '2026-06-16' AND scene='FloatWin' AND action='mouseenter'
        AND (extra LIKE '%6.30.30-1%' OR extra LIKE '%6.30.30-2%') GROUP BY client_id) m ON bc.client_id=m.client_id
JOIN dwd_trd_user_orders_di o ON o.tracking_id=bc.click_id
  AND o.created_time>='2026-06-13' AND o.created_time<'2026-06-18'
GROUP BY m.grp_num;
③ 卸载护栏(按组)
SELECT CASE WHEN m.grp_num=2 THEN 'exp_实验' ELSE 'ctrl_对照' END grp, COUNT(DISTINCT u.client_id) 卸载UV
FROM (SELECT DISTINCT client_id FROM v_dwd_log_parse_event_analytics_log_di
      WHERE pt BETWEEN '2026-06-13' AND '2026-06-17' AND event='uninstall_feedback_impress') u
JOIN (SELECT client_id, MAX(CASE WHEN extra LIKE '%6.30.30-2%' THEN 2 ELSE 1 END) grp_num
      FROM v_dwd_log_cp_click_cb_log_di
      WHERE pt BETWEEN '2026-06-13' AND '2026-06-17' AND scene='FloatWin' AND action='mouseenter'
        AND (extra LIKE '%6.30.30-1%' OR extra LIKE '%6.30.30-2%') GROUP BY client_id) m ON u.client_id=m.client_id
GROUP BY m.grp_num;