X 个人资料抓取器

适用场景

定时抓取 X 账号资料、近期帖子和外链内容，形成可复盘数据集。

• 自动保存目标账号画像，避免信息丢失和手工收集。

功能说明

定时抓取 X 账号资料、近期帖子和外链内容，形成可复盘数据集。

这个 Skill 能帮你做什么

• 自动保存目标账号画像，避免信息丢失和手工收集。
• 自动展开短链并补抓标题，提高线索可读性。
• 统一导出 CSV 与按天归档，方便销售/研究使用。

需要的工具/依赖

| 类型 | 工具/能力 | 用途 | 说明 | |---|---|---|---| | 内置 | web_fetch | 抓取资料页与链接内容 | 内置能力 | | 外部 | web_search | 补充关联信息 | 可替换外部集成 | | 内置 | csv | 输出结构化报表 | 内置能力 | | 内置 | filesystem | 按日期归档抓取结果 | 内置能力 |

快速体验版（先跑一轮）

先抓 3 个账号做验证：

你是我的 AI 自动化助手。
请帮我做“X 个人资料抓取器”的预演版：
1. 读取目标账号列表中的前3个账号。
2. 抓取资料和最近10条帖子。
3. 尝试展开 t.co 链接并提取标题。
4. 输出 CSV 预览和失败项。

稳定自动版（可长期运行）

1) 目标配置 config/x-targets.json

{
  "profiles": [
    { "handle": "elonmusk", "category": "tech", "priority": "high" },
    { "handle": "sama", "category": "ai", "priority": "high" },
    { "handle": " Naval", "category": "philosophy", "priority": "medium" }
  ],
  "schedule": "daily",
  "posts_to_capture": 10,
  "follow_links": true
}

2) 抓取脚本 skills/x-scraper/index.js

const axios = require('axios');
const cheerio = require('cheerio');

async function scrapeProfile(handle) {
  const url = `https://nitter.net/${handle}`; // Or similar proxy
  const html = await web_fetch(url);
  const $ = cheerio.load(html);

  const profile = {
    handle,
    display_name: $('.profile-card-fullname').text(),
    bio: $('.profile-card-bio').text(),
    followers: parseNumber($('.followers .profile-stat-num').text()),
    following: parseNumber($('.following .profile-stat-num').text()),
    posts: []
  };

  $('.timeline-item').slice(0, 10).each((i, el) => {
    const $post = $(el);
    profile.posts.push({
      date: $post.find('.tweet-date').attr('title'),
      content: $post.find('.tweet-content').text(),
      links: $post.find('a').map((i, a) => $(a).attr('href')).get(),
      replies: parseInt($post.find('.icon-comment').next().text()) || 0,
      retweets: parseInt($post.find('.icon-retweet').next().text()) || 0,
      likes: parseInt($post.find('.icon-heart').next().text()) || 0
    });
  });

  return profile;
}

3) 短链展开逻辑

async function expandLinks(posts) {
  for (const post of posts) {
    post.expanded_links = await Promise.all(
      post.links
        .filter(l => l.includes('t.co'))
        .map(async shortUrl => {
          try {
            const full = await resolveRedirect(shortUrl);
            const content = await web_fetch(full);
            return { url: full, title: extractTitle(content) };
          } catch (e) {
            return { url: shortUrl, error: e.message };
          }
        })
    );
  }
  return posts;
}

4) 执行提示词（自动版）

你是我的 AI 自动化助手，请执行“X Profile Scraper”。
请使用 Skills：web_fetch、web_search、csv、filesystem。

每天 06:00：
1. 读取 config/x-targets.json。
2. 抓取账号资料与最近10条帖子。
3. 展开 t.co 链接并抓取标题。
4. 保存到 data/x-profiles/YYYY-MM-DD/。
5. 生成 CSV 摘要。
6. 对 follower 增长 >20% 的账号标记提醒。

限速规则：
- Max 1 request per 5 seconds
- Rotate User-Agent
- Respect robots.txt

5) 调度配置

{
  "schedule": "0 6 * * *",
  "task": "x_profile_scraper",
  "concurrency": 1,
  "delay_between_requests": 5000
}

落地配置建议

• 先把“X 个人资料抓取器”拆成一次性试跑和长期自动化两种模式。
• 先固定数据源、刷新频率和输出格式，再逐步加入评分和告警。
• 建议保留运行日志、输入样例和最终输出，方便后续复盘和交付验收。

验收口径

• 能用真实或模拟数据完整跑通一次。
• 输出结果结构清晰，包含下一步动作或明确结论。
• 抽样核对原始链接、去重结果和最终摘要，确保结论可追溯。

注意事项

• 正式接入账号、数据源或自动操作前，先确认权限边界。
• 不要把未经验证的数据直接作为决策结论。
• 高风险动作建议默认只生成建议或草稿，不直接执行。

质量等级

• 难度：进阶
• 风险：中
• 自动化程度：可定时
• 适用对象：个人

成功标准

• 100% of target profiles captured daily
• Link expansion success > 90%
• Data archived for 90 days
• Keyword alerts within 1 hour