数据分析实战
围绕数据分析的真实工程链路:从业务问题到可行动结论。只给统计方法、工具与阈值,不含任何外部服务依赖。
一、这个技能解决什么(定位 + 人群)
- 谁用:需要做业务复盘、增长分析、报表的数据岗、运营、产品、创业者。
- 典型场景:拿到数据不知从哪下手;相关系数被误读为因果;异常值没处理污染均值;结论无行动建议;图表选错误导读者。
- 本技能不做什么:不接入任何外部账号或密钥;只提供分析方法与模板,具体结论由你结合业务得出。
二、能力地图(5 个能力)
| 能力 | 触发词 | 输入 | 输出 | |---|---|---|---| | 问题定义 | 分析什么/指标 | 业务问题 | 可量化假设+指标 | | 取数清洗 | 取数/清洗/缺失 | 原始表 | 干净数据集 | | 探索分析 | EDA/分布/相关 | 数据集 | 描述统计+相关性 | | 异常诊断 | 异常/离群/突降 | 时序/分布 | 根因清单 | | 结论行动 | 结论/建议/看板 | 洞察 | 行动项+图表 |
能力要点(每个能力怎么用)
- 问题定义:把"为啥跌了"拆成可量化假设(如"付费转化降因新客占比升"),定指标与口径;听到「分析什么」即触发。
- 取数清洗:SQL 取数→去重→处理缺失(删除/均值填补/标记)→统一口径;听到「取数/清洗」即触发。
- 探索分析:算均值/中位数/标准差/分位数,画分布与相关(Pearson r);听到「EDA」即触发。
- 异常诊断:用 IQR 法则(>Q3+1.5IQR)或 3σ 标异常,结合业务定位根因;听到「异常」即触发。
- 结论行动:洞察落到"做X带来Y",配正确图表;听到「结论/建议」即触发。
听到对应触发词即进入该能力;多诉求组合使用。
三、核心工作流
3.1 标准分析工作流
- 输入:一个业务问题 + 数据
- 步骤:
- 1 定义:写下 1-2 条可证伪假设与指标口径(分子分母)
- 2 取数:SQL/Excel 拉数,记录取数口径与时间窗
- 3 清洗:去重、处理缺失(缺失率>30% 该字段慎用)、统一单位
- 4 EDA:描述统计+分布图+相关矩阵,看趋势与离群
- 5 洞察:用数据证伪/证实假设,给置信度
- 常见卡点 / 自救:
- 口径不清→先写"分子=付费用户,分母=活跃用户"再取数
- 被均值骗→看中位数与分位数,均值易被离群拉偏
3.2 异常诊断工作流
- 输入:一条异常曲线/突变
- 步骤:
- 1 定位:哪个指标、哪段时间、突变幅度
- 2 筛因:数据问题(埋点/口径)还是真实业务(活动/故障)
- 3 量化:IQR 或 z-score(|z|>3)定异常点
- 4 下钻:按维度(渠道/地区/版本)拆分看是哪段拉偏
- 5 结论:根因+是否需行动
- 常见卡点 / 自救:
- 先怀疑埋点→拉原始日志核对计数
- 只看总量→按维度拆分,总量掩盖结构变化
四、输出物模板(完整示例,可直接套用)
4.1 分析结论卡(示例·转化下降)
# 分析:本周付费转化 3.2%→2.4%
## 假设
H1 新客占比升稀释转化 H2 支付环节故障
## 数据
样本 12,480 单;新客占比 41%→58%;支付成功率 99.1%→98.9%(正常)
## 验证
按客群拆分:老客转化 4.1%(稳),新客 1.1%(低)→证实 H1
## 结论
转化降因新客占比升,非故障。建议:新客首单引导+优惠券。
## 图表
柱状图(客群×转化率),非折线(避免被总量误导)
4.2 描述统计速算表
均值 mean = Σx/n
中位数 = 排序后中间值(抗离群)
标准差 σ = sqrt(Σ(x-mean)²/n)
Pearson r ∈[-1,1],|r|>0.7 强相关,0.3-0.7 中,<0.3 弱
IQR 异常:x>Q3+1.5·IQR 或 x<Q1-1.5·IQR
z = (x-mean)/σ,|z|>3 视为异常(大样本)
五、量表 / 检查清单
5.1 分析质量自检
[ ] 问题与假设可量化、可证伪 [ ] 指标口径(分子/分母/时间窗)已写明 [ ] 缺失率>30% 的字段已标注慎用 [ ] 趋势同时看均值与中位数(防离群) [ ] 相关结论注明"非因果" [ ] 图表类型与结论匹配
5.2 可视化选型
| 目的 | 图表 | 避坑 | |---|---|---| | 占比 | 饼/环(≤5 类) | 类多改柱 | | 趋势 | 折线 | 多序列用双轴慎用 | | 对比 | 柱状 | 基线从 0 起 | | 分布 | 直方图/箱线 | 看离群 | | 相关 | 散点 | 标 r 值 |
六、识别信号表(意图路由)
| 用户原话 | 真实诉求 | 立即执行 | |---|---|---| | 为啥跌了 | 定义假设 | 调问题定义 | | 帮我取数 | 清洗 | 调取数清洗 | | 看分布 | EDA | 调探索分析 | | 这数不对 | 异常 | 调异常诊断 | | 给结论 | 行动 | 调结论行动 |
七、合规护栏(硬性,不可绕过)
- 结论须注明数据口径与样本量,不夸大相关性为因果。
- 涉及个人数据遵循最小必要原则,分析在授权范围内进行。
- 样本量过小(n<30)时结论标"参考",不据此做重大决策。
八、常见问题
Q:这个技能能直接产出什么?
A:按对应能力输出分析框架、统计公式、图表选型与结论卡模板,可直接套用,不含任何外部服务依赖。
Q:内容是否需要密钥或付费服务?
A:完全免费,纯方法框架与模板,不接入任何外部服务或 API。
Q:相关系数高就能说因果吗?
A:不能。Pearson r 只表线性相关,需结合实验/控制变量才能谈因果,技能会显式标注"非因果"。
九、行业纵深(数据分析实战方法论)
1. 先有假设再分析,否则是数据漫游。 拿到表就跑相关性叫"p-hacking",必然找到伪显著。正确:先写 1-2 条可证伪假设(如"转化降因新客占比升"),再针对性取数验证。证伪比证实更可靠——一个反例就能推翻。
2. 均值会骗人,看中位数与分位数。 收入、耗时这类右偏分布,均值被少数大户拉高。IQR 法则(>Q3+1.5·IQR 为离群)或 z>3 标异常,处理离群(截尾/分箱)后再算均值,否则结论失真。箱线图一眼看偏态与离群。
3. 相关≠因果,这是高频误读。 Pearson r∈[-1,1],|r|>0.7 强相关但可能都是第三变量的结果(冰淇淋销量与溺水正相关,因夏天)。业务结论必须标注"非因果",要因果得上 A/B 或控制变量。
4. 异常先分"数据问题"还是"真实业务"。 曲线突降,先查埋点/口径变更(数据问题占多数),再查活动/故障(真实)。按维度(渠道/地区/版本)下钻拆分,总量常掩盖结构变化——整体稳但某渠道腰斩。
5. 图表服务结论不是装饰。 占比≤5 类用饼,趋势用折线(基线从0),对比用柱,分布用直方图/箱线,相关用散点标 r。错选图表(如用饼展示 20 类)直接误导读者。
典型陷阱:①无假设乱跑相关;②被均值骗忽略离群;③把相关当因果;④图表炫技不服务结论;⑤小样本下强结论。高质量分析=假设先行+抗离群+明因果+图对症。
十、版本与触发词
- v1.1.0 提优:删除泛化模板,注入数据分析真实方法(假设驱动/Pearson/IQR 异常/同期群/可视化选型),给出公式与阈值,免费、零宣传。
触发词:数据分析、EDA、相关性、异常、离群、转化、同期群、留存、描述统计、中位数、IQR、Pearson、看板、取数
微信扫一扫