Back to skills
extension
Category: Development & EngineeringNo API key required

social-fetcher

Uniformly scrape social media content (Twitter/X, Xiaohongshu, Douyin). Utilize Playwright + persistent browser context to support saving login status, enabling repeated scraping after a single login.

personAuthor: jakexiaohubgithub

Social Fetcher

统一抓取社交媒体内容,支持 Twitter/X、小红书、抖音。

特点

  • 多平台支持: Twitter/X、小红书、抖音
  • 登录状态持久化: 一次登录,永久使用
  • 智能内容提取: 自动提取正文、作者、截图
  • 统一存储: 所有数据按平台分类存储

使用方法

1. 首次使用 - 登录各平台

# Twitter/X 登录
~/.openclaw/scripts/social-fetcher.sh twitter login

# 小红书登录
~/.openclaw/scripts/social-fetcher.sh xiaohongshu login

# 抖音登录
~/.openclaw/scripts/social-fetcher.sh douyin login

浏览器会弹出,手动登录后关闭窗口即可。

2. 抓取内容

# 抓取推文
~/.openclaw/scripts/social-fetcher.sh twitter fetch <url>

# 抓取小红书笔记
~/.openclaw/scripts/social-fetcher.sh xiaohongshu fetch <url>

# 抓取抖音视频页面
~/.openclaw/scripts/social-fetcher.sh douyin fetch <url>

3. 检查登录状态

~/.openclaw/scripts/social-fetcher.sh <platform> status

数据存储

~/.openclaw/data/social-fetcher/
├── profiles/           # 登录状态
│   ├── twitter/
│   ├── xiaohongshu/
│   └── douyin/
└── downloads/          # 抓取内容
    ├── twitter/
    ├── xiaohongshu/
    └── douyin/

依赖

  • Node.js 18+
  • Playwright (npm install -g playwright)
  • Google Chrome / Chromium

迁移说明

此 skill 合并了原有的 x-stealth-fetchchina-sites-fetcher

  • 旧 Twitter 数据: chrome_data/ → 新位置 profiles/twitter/
  • 旧中国站点数据: china-sites/ → 新位置 profiles/