知乎专栏文章抓取器 | Zhihu Article Fetcher

Overview

本 skill 专门解决 知乎专栏文章（zhuanlan.zhihu.com/p/xxx）的内容获取问题。

参考 zhihu-fetcher 的三级认证降级思路
参考 zhihu-keyword-content-search 的结构化输出设计
核心差异：抓取单篇专栏文章而非热榜或问答

三级认证降级

优先级1: Browser Profile
    使用 OpenClaw browser 已登录状态（预留接口）
    ↓ 失败
优先级2: File Cookie
    读取 config/cookie.json 中的固化 Cookie
    ↓ 失败或未配置
优先级3: 高仿真请求头
    无 Cookie，但携带完整浏览器指纹（UA/Referer/Sec-Fetch 等）尝试绕过反爬

安装依赖

pip install requests beautifulsoup4

使用方法

1. 直接抓取（无 Cookie，尝试高仿真请求头）

python3 scripts/fetch_article.py "https://zhuanlan.zhihu.com/p/660571164"

2. 配置 Cookie 后抓取（成功率更高）

浏览器打开 https://www.zhihu.com → F12 → Network → 任意请求 → Request Headers → 复制 Cookie 中对应字段到 config/cookie.json：

{
  "cookie": {
    "_xsrf": "你的_xsrf",
    "_zap": "你的_zap",
    "d_c0": "你的_d_c0",
    "z_c0": "你的_z_c0",
    "SESSIONID": "你的_SESSIONID"
  }
}

然后运行：

python3 scripts/fetch_article.py "https://zhuanlan.zhihu.com/p/660571164"

3. 保存到文件

python3 scripts/fetch_article.py "https://zhuanlan.zhihu.com/p/660571164" -o /tmp/article.json

输出格式

{
  "meta": {
    "source": "zhihu-zhuanlan",
    "fetch_time": "2026-04-10T10:30:00",
    "auth_method": "simulated_headers",
    "url": "https://zhuanlan.zhihu.com/p/660571164"
  },
  "data": {
    "title": "文章标题",
    "url": "https://zhuanlan.zhihu.com/p/660571164",
    "content": "正文纯文本，段落以 \n\n 分隔...",
    "word_count": 3520,
    "fetch_method": "simulated_headers"
  }
}

与类似 skill 的对比

| skill | 抓取目标 | 认证方式 | 你的场景匹配度 | |---|---|---|---| | zhihu-fetcher | 知乎热榜 | 三级降级 | ❌ 不支持单篇文章 | | zhihu-keyword-content-search | 知乎问答（按关键词搜索） | Cookie 必填 | ❌ 不支持专栏 URL | | zhihu-article-fetcher | 知乎专栏单篇文章 | 三级降级 | ✅ 正对症 |

常见问题

Q: 返回 "未能提取到正文内容" A: 知乎升级了反爬或页面结构。尝试配置有效 Cookie（方法2），或等待 skill 更新解析规则。

Q: 503/429 频繁出现 A: 脚本已内置动态延迟（1.5-2秒）。如仍被限，建议配置 Cookie 抓取，或间隔更长时间再试。

File Structure

zhihu-article-fetcher/
├── SKILL.md                      # 本文档
├── config/
│   └── cookie.json               # Cookie 配置（需用户自行填入）
└── scripts/
    └── fetch_article.py          # 核心抓取脚本