JinDaGe - Scraper.is MCP Details

article

README

🚀 Scraper.is 的 MCP 整合

Scraper.is 的 MCP 整合是一款强大的工具，它将模型上下文协议（MCP）与 Scraper.is 网络爬取工具相结合。借助此工具，人工智能助手能够通过 MCP 协议进行网页抓取，从而获取最新的互联网信息。

🚀 快速开始

Scraper.is 的 MCP 整合允许人工智能助手通过 MCP 协议进行网页抓取。使用前，你需要完成安装、获取 API Key、环境配置等步骤，之后就可以使用其提供的 API 进行网页抓取操作。

✨ 主要特性

🌐 网页抓取：可从任何网站提取内容。
📸 截图：能够捕捉网页的视觉表示。
📄 多种格式：支持以 Markdown、HTML 或 JSON 的形式获取内容。
🔄 实时进度更新：在抓取操作期间提供实时进度报告。
🔌 MCP 整合：能与支持 MCP 的人工智能助手无缝整合。

📦 安装指南

你可以使用以下命令进行安装：

npm install -g scraperis-mcp

或者使用 Yarn 进行安装：

yarn global add scraperis-mcp

🔧 技术细节

先决条件

你需要一个 Scraper.is API Key 才能使用此包。获取步骤如下：

在 scraper.is 注册或登录。
访问仪表板中的 API Keys 部分：https://www.scraper.is/dashboard/apikeys。
创建新的 API Key 或复制现有密钥。
将其添加到项目的 .env 文件中，例如：

SCRAPER_API_KEY=your_api_key_here

环境配置

使用 Claude Desktop

将以下内容添加到你的 config.json 文件中：

{
  "scraperis": {
    "apiKey": "your_scraper_is_api_key"
  }
}

请确保将 your_scraper_is_api_key 替换为你自己的 API Key。

运行 MCP Inspector

使用以下命令运行 MCP 检查程序，用于开发和测试：

npx @model-context/protocol-inspect

💻 使用示例

基础用法

const result = await scraperis.scrape('https://example.com', {
  depth: 2,
  fields: ['title', 'description']
});

📚 详细文档

API 参考

scraperis.scrape()

参数

url：要抓取的 URL 地址。
options（可选）：配置选项，包括：
- depth：抓取的最大深度，默认为 2。
- fields：需要提取的字段列表。

返回值

result.data：抓取到的数据。
result.error：如有错误，将包含错误信息。

🛠️ 开发

克隆仓库：

git clone https://github.com/your-repository.git

安装依赖项：
```
npm install
```
构建项目：
```
npm run build
```

🤝 贡献

欢迎提交 Pull Request 以改进此项目！

📄 许可证

MIT License

🙏 致谢

感谢以下项目的贡献：

Scraper.is