XHS Data v2.0 — 小红书数据采集层

双引擎架构

| 引擎 | 技术 | 适合 | |------|------|------| | 🔌 API引擎 | RedCrack 纯Python逆向 | 搜索/评论/用户信息/关注点赞 | | 🌐 浏览器引擎 | Selenium/Playwright | 用户主页滚动/单篇提取/媒体下载 |

---

API 引擎

pip install aiohttp loguru pycryptodome getuseragent

搜索笔记

xhs = await create_xhs_session(proxy=None, web_session=None)
res = await xhs.apis.note.search_notes("关键词")

笔记详情

res = await xhs.apis.note.note_detail(note_id, xsec_token)

评论

res = await xhs.apis.comments.get_comments(note_id, xsec_token)

用户信息

res = await xhs.apis.user.get_user_info(user_id)

笔记元数据提取(URL→JSON)

python scripts/xiaohongshu_extract.py "<url>" --pretty --output /tmp/note.json

---

浏览器引擎

抓取用户主页

# Selenium + Chrome, 滚动到底部, 提取所有note_id
# 输出: note_ids.txt + note_links.json + note_links.md

抓取单篇笔记

# 保存 page.html + post_data.json + post.md

媒体下载

# 自动提取 image(jpg/png/webp) + video(mp4)
# 限制: 每篇≤10图, ≤5视频

---

存储路径

• 用户主页：~/disk/xiaohongshu/data/{userId}/
• 单篇笔记：~/disk/xiaohongshu/posts/{noteId}/

---

风控处理

• 461错误：降频 + sleep + 换关键词 + 用登录态
• 401/403：web_session过期
• 代理：支持 proxy="http://127.0.0.1:7890"

---

链接格式

• 笔记：xiaohongshu.com/explore/<note_id>
• 用户：xiaohongshu.com/user/profile/<user_id>

---

安全

• 间隔 ≥2秒, 单用户≤500篇
• 只抓公开内容
• 仅供学习研究