拟人化浏览器采集闭环(总控技能)
总控技能:编排「指纹 → 去特征 → 拟人操作 → 落地采集」四段,交付一个抗检测的采集 Agent。原子技能均可独立使用。
这个闭环解决什么
网页采集最大的对手不是代码,是反爬。裸脚本一跑就被识别:UA 雷同、有 webdriver 痕迹、点击轨迹太机械。本闭环把「挑身份 → 去痕迹 → 拟人操作 → 落地」串起来,让采集像真人。
编排流程(输入 → 原子接力 → 交付)
- 浏览器指纹池(browser-fingerprint-pool)— 随机真实 UA + 分辨率,挑一个像真人的身份
- Playwright 反检测环境(playwright-stealth)— 去 webdriver 痕迹、模拟插件 / Canvas / WebRTC 特征
- 拟人化自动化(human-like-automation)— 贝塞尔轨迹、犹豫点击、逐字打字节奏
- 视频下载器(bilibili-video-downloader)— 采集落地,把视频 / 素材存到本地
交付物:一个抗检测、能稳定跑的采集 Agent + 采集到的文件。
如何使用
收到采集 / 爬虫需求时,先加载本总控,再按阶段用 Skill 工具调用原子技能。第 4 步的下载器是落地环节,前 3 步是「伪装成真人」的准备工作。
组成技能一览
| 阶段 | 技能 | 作用 | |------|------|------| | 1 身份 | 浏览器指纹池 | 挑真实 UA/分辨率 | | 2 去痕 | Playwright 反检测环境 | 隐藏自动化特征 | | 3 拟人 | 拟人化自动化 | 真人轨迹点按 | | 4 落地 | 视频下载器 | 采集存盘 |
微信扫一扫