金大哥 - crawleo-mcp MCP 详情

article

README

🚀 Crawleo MCP 服务器

Crawleo MCP 服务器借助模型上下文协议（MCP），为 AI 助手提供实时网络搜索和爬取功能，助力 AI 更高效地获取网络数据。

🚀 快速开始

Crawleo MCP 让 AI 助手能够通过以下两个强大工具访问实时网络数据：

web.search - 支持多种输出格式的实时网络搜索
web.crawl - 从任意 URL 进行深度内容提取

✨ 主要特性

✅ 全球实时网络搜索：支持任意国家和语言
✅ 多样输出格式：提供增强 HTML、原始 HTML、Markdown、纯文本等格式
✅ 设备适配：支持桌面、移动或平板视图
✅ 深度内容提取：支持 JavaScript 渲染
✅ 数据零留存：保障完全隐私
✅ 自动爬取：可对搜索结果进行自动爬取

📦 安装指南

选项 1：NPM（推荐本地使用）

通过 npm 全局安装：

npm install -g crawleo-mcp

或者不安装直接使用 npx：

npx crawleo-mcp

选项 2：克隆仓库

git clone https://github.com/Crawleo/Crawleo-MCP.git
cd Crawleo-MCP
npm install
npm run build

选项 3：Docker

使用 Docker 构建并运行：

# 构建镜像
docker build -t crawleo-mcp .

# 使用你的 API 密钥运行
docker run -e CRAWLEO_API_KEY=your_api_key crawleo-mcp

MCP 客户端的 Docker 配置：

{
  "mcpServers": {
    "crawleo": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "CRAWLEO_API_KEY=YOUR_API_KEY_HERE", "crawleo-mcp"]
    }
  }
}

选项 4：远程服务器（无需安装）

使用托管版本 https://api.crawleo.dev/mcp - 请参阅以下配置示例。

📚 详细文档

获取 API 密钥

访问 crawleo.dev
注册免费账户
进入你的仪表盘
复制你的 API 密钥（以 sk_ 开头）

设置说明

使用本地 MCP 服务器（npm 包）

通过 npm 安装后，配置你的 MCP 客户端以使用本地服务器： Claude Desktop / Cursor / Windsurf（本地）：

{
  "mcpServers": {
    "crawleo": {
      "command": "npx",
      "args": ["crawleo-mcp"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

或者如果是全局安装：

{
  "mcpServers": {
    "crawleo": {
      "command": "crawleo-mcp",
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

从克隆的仓库运行：

{
  "mcpServers": {
    "crawleo": {
      "command": "node",
      "args": ["/path/to/Crawleo-MCP/dist/index.js"],
      "env": {
        "CRAWLEO_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

使用远程服务器（托管）

1. Claude Desktop

配置文件位置：

macOS：~/Library/Application Support/Claude/claude_desktop_config.json
Windows：%APPDATA%\Claude\claude_desktop_config.json
Linux：~/.config/Claude/claude_desktop_config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

将 YOUR_API_KEY_HERE 替换为你从 crawleo.dev 获取的实际 API 密钥。 步骤：

使用文本编辑器打开配置文件
添加 Crawleo MCP 配置
保存文件
完全重启 Claude Desktop（退出并重新打开）
开始新对话并让 Claude 进行网络搜索！ 示例用法：

"搜索最新的 AI 新闻并总结前 5 篇文章"
"查找 Python 网络爬虫教程并提取代码示例"

2. Cursor IDE

配置文件位置：

macOS：~/.cursor/config.json 或 ~/Library/Application Support/Cursor/config.json
Windows：%APPDATA%\Cursor\config.json
Linux：~/.config/Cursor/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

找到并打开你的 Cursor 配置文件
添加 Crawleo MCP 配置
保存文件
重启 Cursor
MCP 工具将在你的 AI 助手中可用 Cursor 中的示例用法：

"搜索 React 最佳实践并将其添加到我的代码注释中"
"查找此 API 端点的最新文档"

3. Windsurf IDE

配置文件位置：

macOS：~/Library/Application Support/Windsurf/config.json
Windows：%APPDATA%\Windsurf\config.json
Linux：~/.config/Windsurf/config.json 配置：

{
  "mcpServers": {
    "crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

打开 Windsurf 配置文件
添加 Crawleo MCP 服务器配置
保存并重启 Windsurf
在你的编码工作流程中开始使用网络搜索

4. GitHub Copilot

配置文件位置： 对于 VS Code 或兼容编辑器中的 GitHub Copilot，你需要配置 MCP 服务器。 配置： 创建或编辑你的 MCP 配置文件并添加：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

包含多个服务器的完整示例：

{
  "servers": {
    "Crawleo": {
      "url": "https://api.crawleo.dev/mcp",
      "transport": "http",
      "headers": {
        "Authorization": "Bearer YOUR_API_KEY_HERE"
      }
    }
  }
}

步骤：

打开你的 GitHub Copilot MCP 配置
添加 Crawleo 服务器配置
保存文件
重启 VS Code 或你的 IDE
GitHub Copilot 现在可以使用 Crawleo 进行网络搜索！ 示例用法：

向 Copilot 提问："搜索最新的 Python 最佳实践"
向 Copilot 提问："查找此库的文档"

5. OpenAI 平台（直接集成）

OpenAI 现在直接支持 MCP 服务器！以下是如何将 Crawleo 与 OpenAI 的 API 结合使用： Python 示例：

from openai import OpenAI

client = OpenAI()

response = client.responses.create(
    model="gpt-4",
    input=[
        {
            "role": "user",
            "content": [
                {
                    "type": "input_text",
                    "text": "search for latest news about openai models"
                }
            ]
        }
    ],
    text={
        "format": {
            "type": "text"
        },
        "verbosity": "medium"
    },
    reasoning={
        "effort": "medium"
    },
    tools=[
        {
            "type": "mcp",
            "server_label": "Crawleo",
            "server_url": "https://api.crawleo.dev/mcp",
            "server_description": "Crawleo MCP Server - Real-Time Web Knowledge for AI",
            "authorization": "YOUR_API_KEY_HERE",
            "allowed_tools": [
                "web.search",
                "web.crawl"
            ],
            "require_approval": "always"
        }
    ],
    store=True,
    include=[
        "reasoning.encrypted_content",
        "web_search_call.action.sources"
    ]
)

print(response)

关键参数：

server_url - Crawleo MCP 端点
authorization - 你的 Crawleo API 密钥
allowed_tools - 启用 web.search 和/或 web.crawl
require_approval - 设置为 "always"、"never" 或 "conditional"

Node.js 示例：

import OpenAI from 'openai';

const client = new OpenAI();

const response = await client.responses.create({
  model: 'gpt-4',
  input: [
    {
      role: 'user',
      content: [
        {
          type: 'input_text',
          text: 'search for latest AI developments'
        }
      ]
    }
  ],
  tools: [
    {
      type: 'mcp',
      server_label: 'Crawleo',
      server_url: 'https://api.crawleo.dev/mcp',
      server_description: 'Crawleo MCP Server - Real-Time Web Knowledge for AI',
      authorization: 'YOUR_API_KEY_HERE',
      allowed_tools: ['web.search', 'web.crawl'],
      require_approval: 'always'
    }
  ]
});

console.log(response);

可用工具

web.search

使用可定制参数进行实时网络搜索。 参数：

query (必需) - 搜索词
max_pages - 结果页数（默认：1）
setLang - 语言代码（例如，"en"，"ar"）
cc - 国家代码（例如，"US"，"EG"）
device - 设备类型："desktop"，"mobile"，"tablet"（默认："desktop"）
enhanced_html - 获取干净的 HTML（默认：true）
raw_html - 获取原始 HTML（默认：false）
markdown - 获取 Markdown 格式（默认：true）
page_text - 获取纯文本（默认：false）
auto_crawling - 自动爬取结果 URL（默认：false） 示例：

向你的 AI 提问："搜索 'Python 网络爬虫' 并以 Markdown 格式返回结果"

web.crawl

从特定 URL 提取内容。 参数：

urls (必需) - 要爬取的 URL 列表
rawHtml - 返回原始 HTML（默认：false）
markdown - 转换为 Markdown（默认：false）
screenshot - 捕获屏幕截图（可选）
country - 地理位置 示例：

向你的 AI 提问："爬取 https://example.com 并以 Markdown 格式提取主要内容"

故障排除

MCP 服务器未显示

检查配置文件位置 - 确保你编辑的是正确的文件
验证 JSON 语法 - 使用 JSON 验证器检查语法错误
重启应用程序 - 完全退出并重新打开（不仅仅是重新加载）
检查 API 密钥 - 确保你的 API 密钥在 crawleo.dev 上有效且处于活动状态

身份验证错误

验证你的 API 密钥是否正确（应以 sk_ 开头）
确保密钥用引号括起来
检查 "Bearer " 前缀是否包含在 Authorization 标头中（适用于 Claude/Cursor/Windsurf）
对于 OpenAI 平台，直接在 authorization 字段中使用密钥
确认你的账户在 crawleo.dev 上有可用的信用额度

无结果返回

检查你的互联网连接
验证搜索查询是否为空
先尝试更简单的搜索查询
在 crawleo.dev 上检查 API 状态

工具名称未被识别

确保使用正确的工具名称：

使用 web.search（而不是 search_web）
使用 web.crawl（而不是 crawl_web）

💻 使用示例

研究助手

"搜索量子计算的最新发展并总结关键发现"

内容分析

"搜索竞争对手的定价页面并提取其定价层级"

代码文档

"查找 FastAPI 的官方文档并提取快速入门指南"

新闻监测

"搜索美国来源的今日人工智能新闻"

市场研究

"搜索 iPhone 15 的客户评论并分析情感"

📚 定价

Crawleo MCP 使用与我们的 API 相同的实惠定价：

10,000 次搜索 → 20 美元
100,000 次搜索 → 100 美元
250,000 次搜索 → 200 美元在 crawleo.dev 上查看你的使用情况并管理你的订阅。

🔧 技术细节

隐私与安全

✅ 数据零留存 - 我们从不存储你的搜索查询或结果
✅ 安全认证 - API 密钥通过 HTTPS 传输
✅ 无跟踪 - 你的使用模式保持私密

📄 许可证

文档中未提及相关内容，暂不展示。

🔗 相关链接

🌐 网站：crawleo.dev
📚 文档：crawleo.dev/docs
🔑 获取 API 密钥：crawleo.dev

📞 支持

文档：crawleo.dev/docs
API 状态：crawleo.dev/status
联系我们：support@crawleo.dev

crawleo-mcp

README

🚀 Crawleo MCP 服务器

🚀 快速开始

✨ 主要特性

📦 安装指南

选项 1：NPM（推荐本地使用）

选项 2：克隆仓库

选项 3：Docker

选项 4：远程服务器（无需安装）

📚 详细文档

获取 API 密钥

设置说明

使用本地 MCP 服务器（npm 包）

使用远程服务器（托管）

1. Claude Desktop

2. Cursor IDE

3. Windsurf IDE

4. GitHub Copilot

5. OpenAI 平台（直接集成）

可用工具

web.search

web.crawl

故障排除

MCP 服务器未显示

身份验证错误

无结果返回

工具名称未被识别

💻 使用示例

研究助手

内容分析

代码文档

新闻监测

市场研究

📚 定价

🔧 技术细节

隐私与安全

📄 许可证

🔗 相关链接

📞 支持

运行方式说明

托管运行

本地运行 / 其它方式