网页变更监控

监控做不好，几乎都死于两件事：噪声太多导致没人看（狼来了），以及漏掉了真正重要的变化。本技能解决的是「什么值得盯」和「怎么让告警值得看」。

一、先分级：不是所有页面都值得盯

| 类型 | 例子 | 监控重点 | 频率 | |---|---|---|---| | 价格/库存 | 竞品商品页 | 价格、库存、上下架 | 高（数小时） | | 内容/公告 | 政策页、新闻页 | 正文变化、新增条目 | 中（每天） | | 机会窗口 | 招标、招聘、活动页 | 新增条目、状态变更 | 高（每次） | | 稳定参照 | 手册、规范页 | 仅在改版时 | 低（每周） |

第一问：你收到告警后要做什么？

要立刻行动（抢单、调价）→ 高频监控。
要知道有变化就行 → 每天一次汇总即可。

不要监控的东西：内容每天自动变的「时间戳」型页面、个人主页、动态列表。这些只会制造噪声。

二、抓取：频率与反爬的边界

**频率不是越快越好。**高频既增加自己被封的风险，也增加噪声。

| 频率 | 适用 | 注意事项 | |---|---|---| | 每次 | 抢购型页面 | 有真实下单需求才值得 | | 每小时 | 价格、库存 | 注意服务器负载 | | 每天 1-3 次 | 公告、内容更新 | 多数场景足够 | | 每周 | 稳定页面 | 便宜、低噪声 |

合规与礼貌的四条底线：

遵守 robots.txt，别盯不让抓的站点。
控制请求频率，加随机延迟（不要固定秒数间隔），识别为爬虫就降频。
别在业务高峰打，选低峰时段抓。
只监控公开页面，绕过登录和验证码去抓属于越界。

不要做的事：多IP轮换、伪装浏览器指纹绕过检测、抓需要登录的内容。这些做法一旦被发现，可能涉及法律风险。

三、差异判定：先降噪再比较

**原始 HTML 永远不能拿来比对。**一个动态的会话 ID 就能制造 100% 差异。

噪声来源与处理

| 噪声类型 | 处理 | |---|---| | 时间戳、会话 ID | 提取正文时剔除 | | 广告位、推荐模块 | 指定只取正文容器 | | 个人信息（登录用户名等） | 登录态下抓取时剔除 | | 图片 URL 哈希变化 | 只比对文本，或保留图片但单独判定 | | 页面模板改版 | 重设基准快照 |

比较字节数参考

| 页面类型 | 有效正文参考量 | 差异阈值参考 | |---|---|---| | 公告/文章页 | 500-3000 字符 | 新增/删除 >20 字符 | | 列表页（条目数） | 20-100 条 | 条目数变化或新增条目 | | 商品页 | 参数表 + 价格 | 价格数值或库存状态变化 | | 数据报表页 | 表格单元格 | 任一单元格变化 |

阈值由噪声量决定：噪声大的页面，阈值放大到 50-100 字符；噪声小的页面，可以低到 5 字符。

判定方式

【本次检测】2026-09-12 09:30，间隔 24 小时
【差异量】正文 +142 字符 / -8 字符
【变更等级】B（内容更新）
【新增段落】「……新增政策条款……」（截取前 60 字）
【判定依据】位于公告正文区域，非页眉页脚

关键：不只是说「有变化」，要说清变化在哪、依据是什么。

四、变更等级与告警

| 等级 | 定义 | 通知方式 | 响应时限 | |---|---|---|---| | A 级 | 影响决策的变更（价格下调、政策发布、新增招标） | 立即通知 | 尽快 | | B 级 | 内容更新（新增公告、新增条目） | 当日汇总 | 当天 | | C 级 | 样式调整、错别字、无关模块 | 不通知，仅在周报体现 | 不处理 |

判定矩阵：

| 变化类型 | 是否影响决策 | 等级 | |---|---|---| | 价格下降 >5% | 是 | A | | 商品下架/断货 | 是 | A | | 新增一条招标 | 是 | A | | 公告新增条款 | 是 | A | | 列表新增条目（非招标类） | 否 | B | | 正文措辞调整 | 否 | B/C | | 页脚版权年份更新 | 否 | C |

**宁可误报一次 A，也不要漏掉一次真的 A。**等级设得保守比设得激进更安全。

五、告警降噪与值班

**告警被忽略是最严重的失效。**保持告警可信度比减少告警数量更重要。

| 降噪手段 | 说明 | |---|---| | 合并同类告警 | 同一页面 1 小时内的多次变化合成一条 | | 静默期 | 已知改版期间关闭该页监控 | | 首次差异不告警 | 建基准后的第一次有差异，标为「基线校准」只记录 | | 夜间只推 A 级 | 减少无效打扰 | | 周报吸收 C 级 | 别每天都发 |

值班规则：

明确「谁在什么时候看」，没人负责的告警等于没配。
每个 A 级告警必须有确认动作（已处理 / 确认为噪声）。
长期无人确认的监控项，直接下线——留着只会污染告警记录。

六、常见错误

整页 HTML 直接比对：每次都有「变化」，最后全部关掉监控。
频率拉满：一天 50 次，一周后就发现被限流或封了。
只盯不处理：告警攒了 200 条没人看，等于监控不存在。
不做等级划分：把页脚改版和价格下调用同一优先级发，一月就废。
忽略正文容器：抓到的是导航栏，天天报「有更新」。
不记录基线：页面改版后一直没有新基准，判定全线失真。

七、可直接用的告警模板

【A 级】竞品 X 商品页价格变更
时间：2026-09-12 09:30
页面：竞品 X 商品页（监控项 P-123）
变更：价格 ¥199 → ¥159（-20.1%）
库存：有货 → 仅剩 6 件
建议动作：检查本方定价是否需同步调整

一条告警只报一件事。塞三条变更的告警，读者会一条都不看。

八、changelog

v1.1.0 由通用模板改写为可运行方案：新增四类型监控分级与频率对照、反爬四条底线、五类噪声抑制法与差异阈值表、变更等级判定矩阵、告警降噪五种手段与值班规则、单事告警模板。