shield_lock
JinDaGe
← Back to MCP directory
publicPublicdnsLocal runtime

mcp-smart-crawler

MCP Smart Crawler 是一个基于Playwright的网页内容爬取工具，专门用于提取小红书帖子的元数据和下载媒体资源。

article

README

🚀 MCP 智能爬虫

MCP 智能爬虫是一款模型上下文协议（MCP）服务器，它借助 Playwright 实现网页内容的抓取、元数据的提取，还能下载视频和图片等资源。

✨ 主要特性

  • 可从小红书（Xiaohongshu）帖子里提取标题、描述、图片等元数据。
  • 支持从小红书分享链接下载视频和图片。
  • 利用 Playwright 实现浏览器自动化操作。

🚀 快速开始

💻 使用示例

基础用法

要在您的 MCP 客户端中使用此服务器，请将以下配置添加到客户端的 MCP 服务器设置中。您需要根据服务器脚本的运行方式调整 command 和 args 的值。

{
  "mcpServers": {
    "mcp-smart-crawler": {
      "command": "npx",
      "args": [
        "-y",
        "mcp-smart-crawler",
        "--download-folder", // 可选参数
        "c:\\downloads" // 可选参数值
      ]
    }
  }
}

示例对话

帮我查看这条小红书的内容和图片，并告诉我图片里面是什么。
59 XXX发布了一篇小红书笔记，快来看吧！ 😆 OfTOBst2PsxctaX 😆 http://xhslink.com/a/xxaabbcczz，复制本条信息，打开【小红书】App查看精彩内容！

⚠️ 重要提示

需根据服务器脚本的运行方式调整配置中的 command 和 args 的值。

help

Runtime guide

cloud

Hosted runtime

Hosted servers run from a provider-managed environment. You usually connect the MCP client to the hosted endpoint or follow the provider's authorization flow, without keeping a local process alive

  1. Open provider connection page
  2. Authorize or copy endpoint
  3. Connect from your MCP client
terminal

Local runtime / other methods

Local servers run on your own machine or infrastructure. You normally copy the server_config into your MCP client, install the required package, and provide env variables from env_schema when needed

  1. Copy server_config
  2. Install required package
  3. Fill env variables and restart client