微信扫一扫实验读出一页
用途
把散落在笔记、截图和聊天里的实验信息收成一页对内读出(Markdown):实验背景与假设、指标结果表、结论(含不确定性)、下一步决策选项、待确认。
空表见 references/readout-template.md。
只做事后整理与同步:不自动改流量或实验平台配置,不重算或编造 p 值/置信区间/显著性,不做学术级因果推断报告。
适用场景
- 适合: A/B 实验或灰度放量结束(或阶段性结束)后,把假设、指标、结论、下一步整理成给团队或上级看的一页。
- 不适合:
- 灰度放量期的实时观察清单(
canary-watchlist) - 用户反馈主题归纳(
beta-feedback-synth) - 自动调整流量、开关实验或写实验平台
- 从原始数据重算统计显著性(数据由用户或数据团队给出)
- 灰度放量期的实时观察清单(
边界与差异(防误触发)
| 易混需求 | 本技能 | 不做什么 | | --- | --- | --- | | 金丝雀盯盘 | 事后读出一页 | 不做放量期观察清单与告警阈值 | | 反馈合成 | 指标结论导向 | 不做用户声音主题聚类 | | 统计分析工具 | 只整理用户给出的统计结果 | 不重算 p 值,不判显著 |
怎么使用(普通用户)
在 AI 助手里直接说,例如:
- 「帮我写实验读出一页:这是实验笔记和指标表」
- 「灰度结果整理成假设/指标/结论/下一步」
- 「这个 A/B 实验结束了,给老板同步一页结论」
建议提供: 实验名称与窗口、实验组/对照组划分、假设原文、指标表(含样本量与统计结果,如有)、已知异常事件。
使用步骤
1. 澄清
| 字段 | 说明 | | --- | --- | | 实验名称/窗口 | 起止时间、放量比例 | | 假设 | 原始假设怎么写的 | | 指标与数值 | 主指标/护栏指标,组间数值;样本量与显著性结论由用户提供 | | 异常事件 | 窗口内的发版/活动/故障等干扰 | | 决策语境 | 要决定什么(全量/回滚/再跑) |
2. 整理规则
- 不编造显著性: 用户没给 p 值/置信区间/显著性结论时,结果只写方向与幅度,并标「统计显著性: 待确认」;绝不自行补一个 p 值。
- 样本或窗口不足如实标注: 样本量、窗口长度未给或明显不足时,结论降级为「方向性观察」,并进待确认。
- 指标数值只用用户给出的数;组间差异按用户数值计算百分比时注明「按所给数值计算」。
- 干扰事件与结果并列呈现,不替用户裁定「不影响结论」。
- 下一步给选项(全量 / 部分放量 / 回滚 / 延长实验 / 重新设计),由人拍板;假设被数据明确支持或推翻时可给推荐并注明依据。
3. 输出
# 实验读出: {实验名}
## 背景与假设
- 窗口/放量: …
- 假设: …
## 指标结果
| 指标 | 对照组 | 实验组 | 变化 | 显著性(用户提供) |
| --- | --- | --- | --- | --- |
| … | … | … | … | …/待确认 |
## 结论与不确定性
- 结论: …
- 不确定性: 样本/窗口/干扰事件…
## 下一步决策
- 选项: 全量 / 部分放量 / 回滚 / 延长 / 重新设计
- 推荐: …(附依据;不足则「待确认后建议」)
## 待确认
- …
完整示例
输入
实验: 结算页新按钮文案,07-08 至 07-15,流量 50/50。
假设: 把「提交订单」改为「立即购买」可提升结算转化率,不伤客单价。
指标: 结算转化率 对照 12.4% / 实验 13.1%;客单价 对照 86.2 元 / 实验 85.9 元。
样本: 每组约 4.1 万次结算页曝光。数据组结论: 转化率提升在 95% 置信下显著;客单价差异不显著。
异常: 07-12 有一次 2 小时支付通道故障,双组同时受影响。
决策语境: 决定是否全量。
输出
# 实验读出: 结算页按钮文案「立即购买」
## 背景与假设
- 窗口/放量: 07-08 至 07-15,50/50 分流,每组约 4.1 万次曝光
- 假设: 「提交订单」改「立即购买」提升结算转化率,不伤客单价
## 指标结果
| 指标 | 对照组 | 实验组 | 变化 | 显著性(用户提供) |
| --- | --- | --- | --- | --- |
| 结算转化率 | 12.4% | 13.1% | +0.7pp(约 +5.6%,按所给数值计算) | 95% 置信下显著 |
| 客单价 | 86.2 元 | 85.9 元 | -0.3 元(约 -0.3%) | 差异不显著 |
## 结论与不确定性
- 结论: 假设被支持——转化率显著提升,客单价无显著变化。
- 不确定性: 07-12 支付通道故障 2 小时,双组同时受影响,方向性结论大概率不变,但当周绝对值偏低;是否剔除该时段重算由数据组决定。
## 下一步决策
- 选项: 全量 / 部分放量 / 回滚 / 延长 / 重新设计
- 推荐: 全量;依据为主指标显著提升且护栏指标无显著恶化。若需排除故障时段影响,可先 90% 放量一周复核。
## 待确认
- 故障时段剔除后结论是否维持(数据组重算)?
- 全量后是否保留 5% 对照做长期观察?
常见问题(FAQ)
- 没有 p 值能用吗? 能;结果只写方向与幅度,显著性标待确认,不会替你编一个。
- 和金丝雀盯盘怎么选? 放量过程中要盯什么→金丝雀盯盘;结束后要说结论→本技能。
- 能帮我决定全量吗? 只给选项与依据,拍板归人;数据不足时只给「待确认后建议」。
- 能连实验平台自动取数吗? 不能;指标数值全部由用户提供。
已知限制
- 不连接实验平台、BI 或数据仓库;不重算统计量。
- 结论质量取决于用户提供的指标与统计结论;缺样本量/显著性时只能输出方向性观察。
- 中文交互;不依赖海外 API。