人群包穿透 AT 服务 · Service Click Rate & SP Order Rate(终版)

人群包 100000414 · 穿透商家级 AT-off 开关强弹 AT 弹窗 · 上线 2026-06-02
口径:version ≥ 6.30.10 · 窗口 06-06~06-13(raw 上限,订单截至 06-14 已 T+4 成熟)· 生成 2026-06-15

结论:穿透提升点击率,SP 下单率与对照持平(订单成熟后由"负"转"中性")

一、144 同商家对比 判效果 · 核心

两臂都覆盖的 144 个 AT-off 商家。分子/分母均标注。

指标实验组对照组差异
Service Click Rate
全服务点击UV ÷ 全服务曝光UV
74.3%
388 / 522
67.4%
481 / 714
+6.9pp
SP Order Rate (%SP)
有订单UV ÷ SP池用户UV
33.8%
75 / 222
34.2%
110 / 322
−0.4pp(持平)

二、AT 关闭商家对比(按天·全集) 判效果 · 正确全集口径

人群包用户 × 当天 AT 关闭的商家(按天判定,AT-off 商家集每天 267~587 不等)× 在这些商家上的服务曝光/点击。区别于第一节的"144 固定交集"——这里是**所有 AT-off 商家、按天对齐**。

日期当天AT-off商家实验 点击/曝光实验CR对照 点击/曝光对照CR
06-06385112/23048.7%118/31537.5%
06-07453134/28846.5%150/34843.1%
06-08564160/37742.4%201/45843.9%
06-09587194/37651.6%205/46644.0%
06-10524183/35951.0%202/45644.3%
06-11430167/33150.5%175/42741.0%
06-12332146/32045.6%144/38537.4%
06-13267113/23548.1%111/28339.2%
合计1209/251648.1%1306/313841.6%
实验 48.1% > 对照 41.6%(+6.5pp),8 天里 7 天实验更高(仅 06-08 略低)。这是正确的"AT 关闭商家全集 · 按天"口径——比 144 固定交集更全、量更大、结论一致:穿透在 AT 关闭商家上提升整体 Service Click Rate。
口径修正:旧版"全部商家"误用了"队列用户在所有商家(含 AT-on 正常商家)的 kpis 曝光/点击",分子分母≈全队列 → 饱和到 98%/99%,无意义。已改为当天 AT 关闭商家(按天,因 AT 开关天级变化)。SP Order Rate 同口径可另算(本节聚焦曝光/点击)。

三、订单成熟带来的关键变化

SP Order Rate (144)实验对照差异
截至 06-10(订单未熟 ❌)27.4%32.2%−4.8pp
截至 06-14(T+4 成熟 ✅)33.8%34.2%−0.4pp
之前"穿透拉低下单率"主要是订单延迟造成的假象。订单成熟后两臂在同商家上的 SP 下单率几乎一致(33.8% vs 34.2%)——穿透在下单率上不拖后腿

四、日维度趋势(06-06~06-13 · 144同商家)

实验组(穿透) 对照组(无AT弹窗)

Service Click Rate(全服务·日口径)

SP Order Rate (%SP)(SP池·日口径)

日口径=当天点击/曝光、当天订单/SP用户(天然低于累计 74.3%/33.8%)。卸载每天 0-2/天,全窗实验 6/603=1.0%、对照 9/855=1.1%,无差异。

日明细(含分子/分母)
日期实验 Click对照 Click实验 Order对照 Order
06-0640.1% 79/19730.9% 76/24625.6% 10/3918.2% 10/55
06-0742.7% 82/19239.2% 93/23724.5% 12/4929.8% 17/57
06-0834.2% 95/27836.2% 112/30918.3% 11/6028.4% 19/67
06-0943.5% 114/26236.9% 116/31413.0% 9/6929.6% 24/81
06-1042.1% 115/27334.8% 112/32229.9% 20/6722.6% 19/84
06-1141.0% 105/25638.7% 127/32828.8% 15/5223.6% 21/89
06-1243.6% 103/23642.0% 121/28830.2% 19/6324.4% 20/82
06-1339.4% 74/18839.2% 98/25020.0% 9/4523.9% 17/71
趋势:Service Click Rate 实验组 8 天里 6 天高于对照、末期(06-12/13)收敛(弹窗疲劳);SP Order Rate 两条交织、整体接近,每日订单量小(9-24/天)波动大,无系统性差异;卸载两臂均 ~1% 无害。

五、口径与计算逻辑(含踩坑修正史)

环节口径
实验组AT 弹窗 impress + 包标识 + style='6.30.10-2' + lever.at_popup='Off'(真穿透)+ version≥6.30.10
对照组不曝光 reason='AT Popup Lever Off' ∩ 人群包 + version∈≥6.30.10集
Service Click Ratekpis 全服务:click_kpis 去重UV ÷ impress_kpis 去重UV(含 AT/CB/PCP/XF/CC/UGC/AD,对齐后端 56% 量级)
SP Order Rate (%SP)journey SP 池:有订单(cp_order_ids)UV ÷ SP用户UV(aff_id>0 AND cps_score>40
关键修正(按发现顺序)
  1. 标识≠穿透at_high_value_package_user 打在包用户所有 AT 弹窗上;必须叠加 lever.at_popup='Off' 才是真穿透(曝光 1224→真穿透)。
  2. 对照需限版本:穿透功能只在 ≥6.30.10 生效;对照不限版本会混入老版本(6.30.9/6.20.x)无功能用户。两臂都卡 ≥6.30.10。
  3. Service Click Rate 全服务:只算 AT/CB/PCP 强服务会得 ~89%(虚高);含 XF/CC 弱曝光分母后 ~60-74%,对齐大盘 56%。
  4. SP Order Rate 必须订单成熟:订单 T+4,未成熟时假性偏负;06-14 成熟后趋于持平。
  5. 全部商家口径饱和(8 天内人人点过),无区分度,判效果只用 144 同商家。

六、统计 SQL

DB35 (StarRocks)。JSON 用 get_json_object;版本号数值化比较 major*1e6+minor*1e3+patch

① 实验组队列(真穿透 ≥6.30.10)
SELECT DISTINCT guid
FROM v_dwd_log_parse_extension_service_impress_di
WHERE pt BETWEEN '2026-06-06' AND '2026-06-13'
  AND type='AT' AND scene='Popup'
  AND get_json_object(extra,'$.at_high_value_package_user')='true'
  AND get_json_object(extra,'$.at_high_value_package_user_style')='6.30.10-2'
  AND get_json_object(extra,'$.lever.at_popup')='Off'                       -- ★真穿透
  AND (CAST(split_part(version,'.',1) AS INT)*1000000
     + CAST(split_part(version,'.',2) AS INT)*1000
     + CAST(split_part(version,'.',3) AS INT)) >= 6030010;                  -- ★≥6.30.10
② 对照组队列(leveroff∩人群包 ≥6.30.10)
SELECT DISTINCT z.guid FROM (
  SELECT ns.guid, get_json_object(ns.extra,'$.reason') AS reason
  FROM v_dwd_cp_log_impress_other_log_di ns
  INNER JOIN (SELECT DISTINCT guid FROM dws_dmp_guid_group_di
              WHERE group_id=100000414) p ON p.guid=ns.guid                  -- 先join人群包再解析JSON(避免209万行/天全表JSON超时)
  WHERE ns.source=1 AND ns.pt BETWEEN '2026-06-06' AND '2026-06-13'
    AND ns.action='notshow' AND ns.category='at_popup'
    AND ns.version IN ('6.30.12','6.30.16','6.30.19','6.30.22','6.30.49','6.30.69')  -- ≥6.30.10存在版本
) z WHERE z.reason='AT Popup Lever Off';
③ Service Click Rate(kpis 全服务,144 与全量一次出)
-- 曝光(分母);点击(分子)把 impress_kpis→click_kpis / impress_date→click_date
SELECT
  COUNT(DISTINCT ik.guid) AS impr_full,
  COUNT(DISTINCT CASE WHEN ik.domain IN (<144商家>) THEN ik.guid END) AS impr_144
FROM dws_log_domain_guid_extension_impress_kpis_d ik
INNER JOIN (<队列 guid 子查询>) c ON c.guid=ik.guid
WHERE ik.impress_date BETWEEN '2026-06-06' AND '2026-06-13';
-- Service Click Rate = click_uv / impr_uv(全服务,不按 type 过滤)
④ SP Order Rate(journey SP 池)
SELECT
  COUNT(DISTINCT j.guid) AS sp_user_full,                                     -- 分母
  COUNT(DISTINCT CASE WHEN array_length(j.cp_order_ids)>0 THEN j.guid END) AS order_user_full,  -- 分子
  COUNT(DISTINCT CASE WHEN j.domain IN (<144商家>) THEN j.guid END) AS sp_user_144,
  COUNT(DISTINCT CASE WHEN array_length(j.cp_order_ids)>0
                      AND j.domain IN (<144商家>) THEN j.guid END) AS order_user_144
FROM dws_log_sp_user_shopping_journey_detail_di j
INNER JOIN (<队列 guid 子查询>) c ON c.guid=j.guid
WHERE j.pt BETWEEN '2026-06-06' AND '2026-06-13'
  AND j.aff_id > 0 AND j.cps_score > 40;                                      -- ★SP池
-- SP Order Rate = order_user / sp_user
⑤ 144 同商家集推导
实验穿透商家(distinct domain, lever off) ∩ 对照 leveroff 商家(distinct domain) = 144 交集

七、口径声明

数据源 Metabase db35(StarRocks / soar_dw)。结论以 144 同商家口径为准。