AT/ALL/pc/Off) 的商家上的 AT 单全为增量 → 06-03~28 累计 +1,477 AT 单 / +$1,350 AT 佣金(日均 +56.8 单 / +$52;佣金有联盟回调修正+末段未成熟,地板价)。注:历史报告出现过的 +6.9pp(144 同商家·UV·污染对照)与 +28pp(AT-off 全集·UV)均非真实效应,原因见二节口径演进对比,已被金标准取代。
| 阶段 | 人群包(abtest 1/2) | 实验组(穿透曝光UV) | 对照组(真 holdout UV) |
|---|---|---|---|
| 扩量前 06-06~13 | 3,356 1693 / 1663 | 825 | 497 |
| 扩量后 06-19~21 | 42,515 21317 / 21198 · 12.7× | 3,773 | 2,804 |
✅ 扩量后实验 3,773 / 对照 2,804 同量级,holdout 比例正常(此前误记对照仅 730,是查了 06-16 迁移前的旧日志表,见四节)。
| 阶段 | 实验组 | 对照组 | 差异 |
|---|---|---|---|
| 扩量前 06-06~13 | 32.8% 219 / 667 单元格 | 24.4% 107 / 438 | +8.4pp |
| 扩量后 06-19~21 | 36.5% 1783 / 4881 单元格 | 22.9% 856 / 3745 | +13.6pp |
同一严口径下,穿透 lift 扩量后不降反升(+8.4pp → +13.6pp),证明扩量纳入的中长尾用户参与度同样高、无稀释。
| 阶段 | 实验组 | 对照组 | 差异 |
|---|---|---|---|
| 扩量前 06-06~13(订单已熟) | 27.0% 30 / 111 | 27.0% 17 / 63 | 0pp 持平 |
| 扩量后 06-19~21(未成熟) | 22.7% 121 / 534 | 20.2% 79 / 391 | +2.5pp ⚠️未成熟 |
两段 SP 下单率基本持平(前 0pp 订单已熟,后 +2.5pp 订单 T+4 未成熟,06-21 仅 ~13%)。~06-25 成熟后才是收入定论。
穿透曝光 4,051 → 点击 2,750(CTR 67.9%)→ 测券 3,042(75%)→ 成功 1,104(36%)→ 卸载 5(0.12%)。穿透 CTR/测券/成功/卸载均与核心组一致。
同一份穿透数据,因"商家集合 + 点击率分母口径"不同,曾得出 +6.9pp、+14pp、+28pp 等差异极大的结果。下表以扩量前 06-06~13 为例,把所有历史口径与金标准并列,解释每个数的来历与问题。
| 口径(PRE 06-06~13) | 实验 | 对照 | 差异 | 问题 / 结论 |
|---|---|---|---|---|
| ① 144 同商家 · UV · 老污染对照 最早一版 | 74.3% 388/522 | 67.4% 481/714 | +6.9pp | 已废弃 对照混入"也穿透了"的污染用户,点击率虚高 → lift 被低估 |
| ② 144 同商家 · UV · 干净对照 | 74.3% 388/522 | 60.3% 249/413 | +14.0pp | 去污染后;但 UV 级 + 仅 144 商家仍非严口径 |
| ③ AT-off 全集 · UV · 干净对照 中间一版(曾作主结论) | 84.7% 695/821 | 55.9% 217/388 | +28.8pp | 已废弃 ⚠️ 测量假象:UV 分子/分母各自去重,商家集合越大越放大 |
| ④ AT-off 全集 · 单元格级 | 39.7% 1478/3724 | 26.4% 397/1506 | +13.3pp | 去 UV 假象,但仍含两臂商家结构差异 |
| ⑤ 同商家交集 · UV 级 | 43.3% 164/379 | 36.4% 83/228 | +6.9pp | 同商家了,但 UV 跨天泄漏使绝对值偏低 |
| ⑥ 同商家交集 · 单元格级 金标准 | 32.8% 219/667 | 24.4% 107/438 | +8.4pp | ✅ 两臂同商家天、按曝光机会算,对集合不敏感 |
用户×商家×天 曝光机会算一次点击),分子严格嵌套于分母、对集合不敏感,假象即消除。| 口径(POST) | 实验 | 对照 | 差异 |
|---|---|---|---|
| AT-off 全集 · UV(旧主结论) | 58.3% (3593/6158) | 30.3% (1034/3412) | +28.0pp 假象 |
| 同商家交集 · 单元格级(金标准) | 36.5% (1783/4881) | 22.9% (856/3745) | +13.6pp |
| 对象 | 口径 |
|---|---|
| 实验组 | 穿透曝光:impress 表 type='AT'+scene='Popup'+at_high_value_package_user='true'+style='6.30.10-2'+lever.at_popup='Off'(版本≥6.30.10) |
| 对照组 | 06-16 起取自 0021 日志 v_dwd_log_parse_event_analytics_log_di:event='not_impression'+business='1'+scene='Popup'+reason='AT Popup Lever Off In Package'(包内对照标识,不用 join 包)。06-16 前在旧表 impress_other_log。 |
| Service Click Rate 金标准 | 单元格级:分母 = impress_kpis 落在交集(商家×天)的去重 用户×商家×天 单元格数;分子 = click_kpis 同口径单元格数。分子严格嵌套分母,对商家集合不敏感、天然按天。含全服务 AT/CB/PCP/XF/CC。❌ 旧 UV 级(点过任意商家÷曝光任意商家)在大集合上虚高,已弃用。 |
| 同商家·按天交集 | 当天既有穿透曝光、又有 holdout 对照在场的"商家×天":穿透 impress(lever off) 的 (domain,pt) ∩ 对照 notshow 的 (domain,pt)。两臂同场,消除商家结构差异。 |
| SP Order Rate (%SP) | journey SP 池:有订单(cp_order_ids)UV ÷ SP用户UV(aff_id>0 AND cps_score>40),限同商家交集 (domain,pt)。 |
| 按天开关处理 | AT lever 可逐日变化。商家集合全程按 domain×pt(商家×天)粒度,信号逐条事件按天读取 → 某商家只关部分天就只计入关闭那几天,开着的天自动排除。无遗漏。 |
| 版本过滤 | 三段式数值键 major×1e6+minor×1e3+patch ≥ 6030010(≥6.30.10)。⚠️ 字符串比较会错(6.30.9 > 6.30.69 字典序) |
扩量口径:第一版基础上放开 L2(7d→14d)+L3(<0.40→<0.50)+去 L4,保留 L1≥5、type='AT' 不限 scene。穿透曝光 06-17 194/天 → 06-19 1,661/天(8.5×)。
impress_other_log 迁移到 0021 日志 event_analytics,我当时仍查旧表 → 旧表 06-16 后不再落对照数据,对照只剩 730 人、点击率虚高,被误读为"对照也穿透"。换正确 0021 表后对照恢复 2,804(与实验 3,773 同量级),holdout 完好,包内分组可继续作对照。范围 = 穿透实验用户 × AT-off 商家;PRE 05-03~23 vs POST 06-03~23(各 21 天,06-24 未 ETL 剔除);佣金 = journey cp_commission。
支撑:PRE 854 单/$568.4 → POST 1,534 单/$1,889.7。
| 指标 | 值 | 算法 |
|---|---|---|
| ① 日均增量订单 | +32.4 单/天 | (1534−854)/21 |
| ② 累计增量订单 | +680 单 | 1534−854 |
| ③ 实际累计日均佣金(整体净) | +$62.9/天 | 1321.3/21 |
| ④ 实际累计佣金(整体净,含正负) | +$1,321.3 | 1889.7−568.4;正向+1635 与负向−314 相抵 |
| ⑤ 实际增量日均佣金(仅正向商家) | +$77.9/天 | 1635.2/21 |
| ⑥ 实际增量佣金(仅正向 domain+country) | +$1,635.2 | Σ max(0, POST−PRE) 各商家 |
⚠️ 这 +$1,321 大部分来自 06-18 扩量(更多用户进范围)+ 季节性,不是穿透本身的功劳。
实验组(穿透) 3,773 人 vs 对照组(holdout,In Package 未弹) 2,804 人,同期、同 AT 用户群,季节性/扩量两组同等作用相减抵消。
| 实验组 B | 对照组 A | 纯增量(人均→×3773) | |
|---|---|---|---|
| 订单 | 862 | 459 | |
| Coupert 佣金 | $1,130.9 | $1,059.0 | |
| 人均订单 | 0.2285 | 0.1637 | +0.065(+39.6%)→ +245 单/3天 ≈ +82 单/天 |
| 人均佣金 | $0.300 | $0.378 | −$0.078(−20.6%)→ −$294/3天 ≈ −$98/天 ⚠️ |
| 单均佣金 | $1.31 | $2.31 | 穿透多出的是低佣金 AT 单 |
| 维度 | 口径 / 表 | 条件 |
|---|---|---|
| 穿透用户(人群包) | ...impress_di | type='AT' AND scene='Popup' AND at_high_value_package_user='true' AND ..._style='6.30.10-2' |
| AT 服务关闭商家(按天) | dim_store_service_switch_new_d | type='AT' AND scene='ALL' AND platform='pc' AND level='Off',每天快照 |
| AT 订单 | dwd_trd_user_orders_di | is_at_order=1 |
| 按天对齐归因 | join | o.domain=sw.sub_domain AND sw.pt=DATE(o.visit_time)(订单当天该商家确为关闭) |
窗口 06-03~06-28(26 天);忽略对照(无穿透用户在这些商家上的 AT 单不减,可能是开关时点差异);开关人为天天变,故按 sw.pt=订单当天 取,而非单一快照。支撑:1,477 AT 单 / $1,350.70(06-03~09: 63/$84 · 06-10~17: 190/$234 · 06-18~23: 918/$824 · 06-24~28: 306/$209)。
| 指标 | 值 | 算法 |
|---|---|---|
| ① 日均增量订单 | +56.8 单/天 | 1477 / 26 |
| ② 累计增量订单 | +1,477 单 | Σ 各段 AT 单 |
| ③ 实际累计日均佣金 | +$51.9/天 | 1350.70 / 26 |
| ④ 实际累计佣金 | +$1,350.70 | Σ 各段 AT 佣金 |
| ⑤ 实际增量日均佣金(仅正向) | +$51.9/天 | =③(基线 0 无负向) |
| ⑥ 实际增量佣金(仅正向) | +$1,350.70 | =④(基线 0 无负向) |
⑤⑥ = ③④:基线 0、无 PRE 相减 → 无"收入下降的 domain",每笔 AT 单都是纯增量。
⚠️ 订单数稳健、佣金有修正:累计订单 1,401(→06-25)→1,477(→06-28) 单调增;累计佣金 $1,429(→06-25)→$1,350(→06-28) 略降,因联盟佣金回调双向修正(佣金 T+1~3 调整/取消)+ 跨快照重算 → 订单数更稳,佣金持续波动。
⚠️ 06-25~28 订单 T+4 未成熟(截至 06-29)→ $1,350 是地板价。
| AT-关闭定义 | 增量佣金 | 对照基线 | 评价 |
|---|---|---|---|
| A 时间 PRE/POST(范围 6月vs5月,全服务) | +$1,321 | — | 含扩量+季节性,高估、非因果 |
❌ lever.at_popup='Off'(仅弹窗关) | $514.8 | 122 单(高) | AT 服务还开着,伪增量 |
~ lever.at='Off'(运行时 AT 全关) | $92.8 | 9 单(≈0) | 真关但人群极小 |
✅ 配置表 AT/ALL/pc/Off 按天(最终) | +$1,429 | 忽略 | 权威配置 + 按天对齐,最终口径 |
scene='ALL'=Off 未必代表所有 scene 都关;对照组在这些商家上仍有少量 AT 单(132 单/3天),按用户要求归为开关调整时点差异、忽略不减。若严格按 holdout DiD 扣除,净增量约为毛值的 ~半。订单方向与 holdout 一致(穿透把这些商家 AT 单做到对照 ~2 倍)。SELECT DISTINCT guid FROM v_dwd_log_parse_extension_service_impress_di WHERE pt BETWEEN <start> AND <end> AND type='AT' AND scene='Popup' AND get_json_object(extra,'$.at_high_value_package_user')='true' AND get_json_object(extra,'$.at_high_value_package_user_style')='6.30.10-2' AND get_json_object(extra,'$.lever.at_popup')='Off' AND (CAST(split_part(version,'.',1) AS INT)*1000000+CAST(split_part(version,'.',2) AS INT)*1000+CAST(split_part(version,'.',3) AS INT))>=6030010;
-- 06-16 起:不曝光日志已迁移到 0021 日志 SELECT DISTINCT client_id AS guid FROM v_dwd_log_parse_event_analytics_log_di WHERE pt BETWEEN <start> AND <end> AND event='not_impression' AND business='1' AND scene='Popup' AND get_json_object(properties,'$.reason')='AT Popup Lever Off In Package';
SELECT bt.domain, bt.pt FROM (SELECT DISTINCT domain,pt FROM impress WHERE 穿透条件①) bt INNER JOIN (SELECT DISTINCT domain,pt FROM event_analytics WHERE In Package②) ct ON bt.domain=ct.domain AND bt.pt=ct.pt; -- = 交集 atoff
-- 单元格 = 用户×商家×天;分子严格嵌套分母,对集合不敏感
分母 = SELECT COUNT(DISTINCT CONCAT(guid,'|',domain,'|',CAST(impress_date AS CHAR)))
FROM impress_kpis JOIN 队列guid JOIN 交集atoff(domain,pt)
分子 = 同上换 click_kpis(domain, click_date)
Service Click Rate = 分子 / 分母SELECT COUNT(DISTINCT CASE WHEN array_length(cp_order_ids)>0 THEN guid END)*1.0
/ COUNT(DISTINCT guid)
FROM dws_log_sp_user_shopping_journey_detail_di
WHERE pt BETWEEN <start> AND <end> AND aff_id>0 AND cps_score>40
AND (guid IN 队列) AND (domain,pt) IN 交集atoff;domain×pt 粒度构建,AT lever 逐日变化已正确处理(只计关闭的商家天)。AT Popup Lever Off In Package;06-16 起取 0021 日志,holdout 完好(实验 3,773 / 对照 2,804)。