返回 Skill 列表
extension
分类: 数据与分析无需 API Key

豆瓣小组时效热帖抓取

豆瓣小组时效热帖抓取 | Douban Group Hot Topics. 抓取豆瓣小组的时效性热门话题:讨论精选(全站热帖)、热门话题、热门小组、指定小组讨论列表(含喜欢数/回复数/作者/时间)。无需 API Key。触发词:豆瓣小组、豆瓣热帖、豆瓣热门讨论、douban group。

person作者: user_4ba365fahubcommunity

豆瓣小组时效热帖抓取 (Douban Group Hot Topics)

抓取豆瓣小组的时效性热门话题,零依赖(仅 Python 标准库)、无需 API Key、无需登录。

适用场景

  • 追豆瓣小组当下的热议话题(全站"讨论精选"即时效热帖流)
  • 监控指定小组的最新/热门讨论
  • 为热点内容自动化 Q&A 准备系统提供豆瓣侧数据源(支持 JSON 输出)

快速开始

# 讨论精选(全站时效热帖,默认,前 20 条)
python3 scripts/douban_group_hot.py

# 只看前 10 条,按喜欢数排序
python3 scripts/douban_group_hot.py --top 10 --sort likes

# 热门话题页 / 热门小组列表
python3 scripts/douban_group_hot.py --type hot
python3 scripts/douban_group_hot.py --type group

# 抓取指定小组的讨论列表(含作者/回复数/最后回复时间)
python3 scripts/douban_group_hot.py --group 205905

# JSON 输出并落盘,便于接下游系统(如飞书 pi agent Q&A 库)
python3 scripts/douban_group_hot.py --top 30 --json --output hot.json

# 关键词站内搜索(搜索全站小组讨论,★=标题精确命中;可多词分别搜索)
python3 scripts/douban_group_search.py "御廷谣" "少年时代2" --top 15
python3 scripts/douban_group_search.py "少时2" --json --output search.json

输出示例(文本模式)

🔥 豆瓣 讨论精选(20 条) 来源: https://www.douban.com/group/explore
 1. [2245喜欢] 把我朋友的话分享给所有迷茫焦虑痛苦的女性
    来自: 平凡女性生存手册小组 | 昨天10:54 | https://www.douban.com/group/topic/497433777/

参数说明

| 参数 | 说明 | |------|------| | --type explore\|hot\|group | 页面类型,默认 explore(讨论精选) | | --group <gid> | 抓指定小组讨论列表(如 205905) | | --top N | 只输出前 N 条,默认 20 | | --sort likes\|replies\|time | 本地排序(explore 用 likes;group 用 replies) | | --json | JSON 结构化输出 | | --output FILE | 写入文件 |

douban_group_search.py 参数:

| 参数 | 说明 | |------|------| | keywords | 一个或多个搜索关键词(依次搜索) | | --top N | 每个关键词输出前 N 条,默认 15 | | --json / --output | JSON 输出 / 落盘(含 exact 精确命中标记) |

数据来源

豆瓣小组公开页面(无需登录):

  • 讨论精选: https://www.douban.com/group/explore
  • 热门话题: https://www.douban.com/group/explore?type=hot
  • 热门小组: https://www.douban.com/group/explore?type=group
  • 小组讨论: https://www.douban.com/group/{gid}/discussion?start=0
  • 讨论站内搜索: https://www.douban.com/group/search?cat=1013&q={关键词}

注意事项

  • 豆瓣可能有反爬限流,抓取频繁时建议间隔 ≥ 30s;请求失败时脚本会给出可读提示
  • 脚本内置了桌面浏览器 UA;如仍被拦截,可稍后重试
  • 小组 ID 可从小组主页 URL 获取:https://www.douban.com/group/{gid}/