Back to skills
extension
Category: Data & AnalyticsNo API key required

浏览器数据采集链路诊断

诊断浏览器插件、Network 请求、回调接口、原始快照、解析器与业务看板之间的数据链路。避免把 201 Created 误判为采集成功,输出逐层证据和最短修复路径。

personAuthor: u_306634a0hubenterprise

浏览器数据采集链路诊断

采集是链路问题,不是单接口问题。本技能把“是否打通”拆成可独立验证的六层,避免把请求成功误判为业务完成。

何时使用

  • 浏览器扩展、内容脚本、网络拦截器或回调采集故障。
  • 平台请求返回成功,但后台、账号画像或看板无数据。
  • 新增平台端点发现、请求分类或解析器覆盖。
  • 验收扩展版本、权限、登录态与线上后端的组合。

六层模型

  1. 捕获层:扩展是否看到了目标请求/响应。
  2. 分类层:是否识别为正确平台、资源类型和账号。
  3. 传输层:回调请求是否到达正确环境,认证是否有效。
  4. 原始层:原始快照是否持久化,字段与组织归属是否完整。
  5. 解析层:解析器是否覆盖当前响应结构并产生标准记录。
  6. 呈现层:标准记录是否进入目标页面、报表或任务。

工作流程

1. 固定测试样本

记录平台、账号、目标页面、时间窗口、扩展版本、后端环境和一条可唯一识别的数据。不要混用历史样本。

2. 验证捕获层

在真实平台页面触发目标行为,使用 DevTools Network 或扩展调试信息确认 URL、方法、状态、响应类型和触发时间。不要收集与目标无关的隐私数据。

3. 验证分类层

检查端点规则是否把请求映射到正确的 platform/resource/account。重点排查通配符过宽、版本化路径、GraphQL operation、分页和压缩响应。

4. 验证传输与原始层

核对回调目标、认证、幂等键、请求体大小和服务端日志。随后直接确认原始快照是否存在,而不是只看 HTTP 状态。

5. 验证解析层

选取一条已持久化快照,确认解析器版本、字段映射、时间格式、数值单位、分页游标和容错分支。把“解析 0 条”视为失败,不因任务执行完成而通过。

6. 验证呈现层

在业务页面使用相同账号和时间范围查询,核对数量、字段和更新时间。如果页面有缓存或异步作业,记录刷新机制和最大延迟。

7. 定位最短修复点

只修第一个失败层;上游未通过时不要先改看板。修复后从该层向下回归。

输出格式

# 采集链路结论
平台 / 账号 / 扩展版本 / 后端环境:

| 层级 | 证据 | 状态 | 首个失败点 | 建议 |
|---|---|---|---|---|
| 捕获 | | | | |
| 分类 | | | | |
| 传输 | | | | |
| 原始 | | | | |
| 解析 | | | | |
| 呈现 | | | | |

常见根因

  • 扩展商店/本地加载版本不是修复后的版本。
  • 请求被捕获但分类为未知资源。
  • 201 Created 只创建了原始快照,没有标准化记录。
  • 解析器仍按旧字段路径读取。
  • 账号或组织关联失败,数据进入隔离区。
  • 页面查询时间范围、时区或缓存与采集记录不一致。

质量门槛

  • 使用真实平台页面和真实 Network 证据。
  • 明确扩展版本、环境、账号和测试时间。
  • 同时核对原始快照与标准化结果。
  • 不输出 Cookie、Token、完整响应中的个人敏感数据。
  • 结论指出首个失败层和一条最短修复路径。