mcp-node-fetch

🚀 MCP 节点抓取

MCP 节点抓取是一个基于 Node.js 的 MCP 服务器，借助 undici 库实现网络内容抓取。它能使用多种 HTTP 方法从任意 URL 获取内容，支持请求头和请求正文，可返回多种格式的内容，还能灵活处理错误情况，具有可配置超时时间和重定向行为等优势。

✨ 主要特性

• 使用各种 HTTP 方法从任何 URL 获取内容。
• 支持请求头和请求正文。
• 返回多种格式的内容（文本、JSON、二进制、HTML 片段）。
• 灵活处理错误情况。
• 可配置超时时间和重定向行为。

📦 安装指南

文档未提供安装步骤，暂不展示。

💻 使用示例

基础用法

fetch-url

// 从指定的 URL 抓取内容并返回结果
const { fetchUrl } = require('./path/to/mcp-server');

const result = await fetchUrl({
  url: 'https://example.com',
  method: 'GET',
  headers: { 'Content-Type': 'application/json' },
  timeout: 5000,
  responseType: 'text'
});
console.log(result);

extract-html-fragment

// 使用 CSS 选择器从网页中提取特定的 HTML 内容
const { extractHtmlFragment } = require('./path/to/mcp-server');

const fragment = await extractHtmlFragment({
  url: 'https://example.com',
  selector: 'div.content',
  anchorId: 'section-1',
  method: 'GET',
  timeout: 5000
});
console.log(fragment);

check-status

// 检查指定 URL 是否可达
const { checkStatus } = require('./path/to/mcp-server');

const isReachable = await checkStatus({
  url: 'https://example.com',
  timeout: 5000
});
console.log(isReachable);

高级用法

文档未提供高级用法示例，暂不展示。

📚 详细文档

MCP 工具集

此服务器提供了以下 MCP 工具：

fetch-url

从指定的 URL 抓取内容并返回结果。

| 参数 | 详情 | |------|------| | url | 字符串，必填，要抓取的 URL 地址 | | method | 字符串，可选，HTTP 方法，默认为 "GET" | | headers | 对象，可选，请求头信息 | | body | 字符串，可选，POST/PUT 请求的正文内容 | | timeout | 数字，可选，请求超时时间（单位：毫秒） | | responseType | 字符串，可选，指定响应内容的解析方式 ("text", "json", "binary", "html-fragment") | | fragmentSelector | 字符串，可选，当 responseType 为 "html-fragment" 时，用于提取特定 HTML 片段的 CSS 选择器 | | followRedirects | 布尔值，可选，是否自动跳转重定向，默认为 true |

extract-html-fragment

使用 CSS 选择器从网页中提取特定的 HTML 内容，并可根据需要定位到具体的锚点。

| 参数 | 详情 | |------|------| | url | 字符串，必填，要抓取的 URL 地址 | | selector | 字符串，必填，用于提取 HTML 片段的 CSS 选择器 | | anchorId | 字符串，可选，可选的锚点 ID，用于定位特定内容 | | method | 字符串，可选，HTTP 方法，默认为 "GET" | | headers | 对象，可选，请求头信息 | | body | 字符串，可选，POST 请求的正文内容 | | timeout | 数字，可选，请求超时时间（单位：毫秒） | | followRedirects | 布尔值，可选，是否自动跳转重定向，默认为 true |

check-status

检查指定 URL 是否可达，而不必下载完整内容。

| 参数 | 详情 | |------|------| | url | 字符串，必填，要检查的 URL 地址 | | timeout | 数字，可选，请求超时时间（单位：毫秒） |

与桌面版 Claude 配置

要在桌面版 Claude 中使用，请在 claude_desktop_config.json 文件中添加以下内容：

{
  "mcpServers": {
    "node-fetch": {
      "command": "node",
      "args": ["dist/index.js"]
    }
  }
}

🔧 技术细节

文档未提供技术实现细节，暂不展示。

📄 许可证

本项目采用 MIT 许可证。