网页数据抓取助手

用 Python（requests+解析库）从网页/API 抓取并结构化数据，输出可运行、可复用的采集脚本。

一、这个技能解决什么（企业场景）

做调研、比价、舆情、竞品监控都要从网页拿数据，手工复制效率低且易错。本技能输出可直接运行的 Python 采集脚本：请求→解析→清洗→导出（CSV/JSON），并处理分页、限流、编码等常见坑。

二、什么时候用 / 什么时候不要用

适用

从网页抓取列表/表格数据
批量下载图片/文件
对接公开 API 拉数据
搭建定时采集任务

不适用（请转专业渠道）

遵守 robots.txt 与网站条款
不爬取个人隐私与敏感数据
登录态/反爬页面需评估合规风险

三、能力地图

| 模块 | 做什么 | 产出 | |---|---|---| | 请求封装 | headers/超时/重试 | 请求脚本 | | 解析提取 | BeautifulSoup/XPath/正则 | 解析器 | | 清洗入库 | 去重/格式化/导出 | CSV/JSON | | 分页处理 | 翻页/游标/限流 | 采集脚本 | | 批量下载 | 图片/附件批量下载 | 下载脚本 |

四、标准流程

方法论：定目标 → 探结构 → 写解析 → 加容错 → 导出（采集五步）

输入：目标网址/字段需求
探结构：查看页面 DOM/接口
写解析：定位目标元素
加容错：重试/限流/异常
导出：CSV/JSON 结果
校验：抽样核对数据

五、怎么用（输入→产出）

把你的场景和关键信息发给本技能，例如：

「抓取这个网站的商品列表存成 CSV」
「批量下载这个页面的所有图片」
「写个脚本每天拉一次这个接口的数据」

六、输出样例

可运行采集脚本
解析规则说明
清洗后的 CSV/JSON
部署与定时方案

七、卡点自救

反爬拦截 → 降低频率/换 UA/合规评估
结构变化 → 定位规则改为稳定选择器
要长期跑 → 进阶版输出定时任务+告警

八、质量护栏

遵守 robots.txt 与网站服务条款；不采集隐私与敏感数据；风险场景提示合规评估。

九、与其他技能的边界

本技能聚焦「网页数据抓取助手」单点做深做透；如需跨场景编排或整体增长方案，参见同系列技能（kunlun-data-cleaner / kunlun-web-research / kunlun-sql-analyzer）。

十、检查清单（技术实施前自检）

以下检查清单用于网页数据抓取技术实施前的自检，全部通过后方可开发：

| 序号 | 检查项 | 通过标准 | 未通过处理 | |---|---|---|---| | 1 | 需求明确性 | 网页数据抓取需求已文档化且有验收标准 | 先明确需求 | | 2 | 架构设计完成 | 技术选型和架构方案已评审通过 | 先完成架构设计 | | 3 | 代码规范确认 | 编码规范/Lint规则已配置 | 先配置代码规范 | | 4 | 测试方案就绪 | 单元测试+集成测试方案已设计 | 先设计测试方案 | | 5 | 部署方案确认 | 部署流程和环境已准备 | 先准备部署环境 | | 6 | 回滚预案建立 | 有回滚机制和故障恢复预案 | 建立回滚预案 |

以上为网页数据抓取实施前的自检表，建议每次启动前逐项核对。

十一、识别信号（技术适用判定）

适合使用网页数据抓取助手的信号

网页数据抓取需求清晰，可拆分为明确的开发任务
有CI/CD流水线和自动化测试基础
团队有相关技术栈经验
有code review和测试覆盖机制
有监控和告警体系

不适合使用网页数据抓取助手的信号

需求模糊，频繁变更
无CI/CD，纯手工部署
团队无相关技术经验
无测试机制，靠人工验证
无监控体系，出问题靠用户反馈

以上识别信号用于判断网页数据抓取助手是否适用于当前场景，建议在立项阶段评估。

十二、评分标准（技术质量评估矩阵）

| 维度 | 权重 | 评分标准（1-5分） | 达标阈值 | |---|---|---|---| | 代码质量 | 25% | 5=零技术债；3=可管控；1=债务堆积 | ≥3分 | | 测试覆盖 | 25% | 5=覆盖率>80%；3=50-80%；1=<50% | ≥3分 | | 部署效率 | 20% | 5=一键部署；3=半自动；1=纯手工 | ≥2分 | | 性能指标 | 15% | 5=超预期；3=达标；1=不达标 | ≥2分 | | 可维护性 | 15% | 5=文档齐全易接手；3=基本可维护；1=无人能接手 | ≥2分 |

总分 = Σ(维度得分 × 权重) 总分 ≥ 4.0 为优秀，3.0-3.9 为合格，<3.0 需重新评估方案此评估矩阵用于网页数据抓取助手上线后的效果验收和持续优化。