JinDaGe - WebSearch Tools MCP Details

article

README

🚀 WebSearch 搜索工具

WebSearch 是一款基于 Python 的高级网络搜索与内容提取工具，它融合了 Firecrawl 和 OpenAI 的强大功能，能为用户提供高效且智能的网络数据采集与分析能力。

🚀 快速开始

WebSearch 结合了 Firecrawl 和 OpenAI 的强大功能，为用户提供高效、智能的网络数据采集和分析能力。以下是使用该工具的快速指南：

确保满足先决条件，包括 Python 版本、包管理器和 API 密钥。
按照安装指南克隆仓库、安装依赖项并配置环境变量。
根据使用说明将工具集成到 Claude for Desktop 或使用可用工具进行网络搜索、内容提取和数据分析。

✨ 主要特性

强大的网络爬取：借助 Firecrawl 的高性能 API 进行网页抓取。
智能内容解析：运用 OpenAI 的 AI 技术实现内容理解和提取。
灵活的接口设计：支持多种数据格式输出（如 JSON、XML 等）。
易于集成：提供详细文档和示例，方便用户快速上手。

📦 安装指南

1. 克隆仓库

git clone https://github.com/yourusername/WebSearch.git
cd WebSearch

2. 安装依赖项

使用 uv 包管理器安装所有依赖：

uv install requirements.txt

3. 配置环境变量

创建并编辑 .env 文件（文件需位于项目根目录）：

OPENAI_API_KEY=your_openai_key_here
FIRECRAWL_API_KEY=your_firecrawl_key_here

💻 使用示例

将工具集成到 Claude for Desktop

打开 claudius.json 文件。
在根目录下添加以下配置：

{
    "webSearch": {
        "apiKey": "your_firecrawl_api_key",
        "aiIntegration": true,
        "proxyEnabled": false
    }
}

重启 Claude 软件以应用更改。

可用工具

网络搜索

输入：关键词或查询语句。
输出：JSON 格式的搜索结果列表，包含标题、链接和摘要。

内容提取

输入：网页 URL。
输出：结构化数据（如文本、图片链接等）。

数据分析

输入：批量 URL 列表。
输出：统计报告或可视化图表。

📚 详细文档

API 参考

网络搜索接口

def search(query: str, count: int = 10) -> dict:
    """
    执行网络搜索并返回结果。

    Args:
        query (str): 搜索关键词。
        count (int): 结果数量，默认为 10。

    Returns:
        dict: 包含搜索结果的 JSON 格式数据。
    """

内容提取接口

def extract(url: str) -> dict:
    """
    提取指定网页的内容。

    Args:
        url (str): 待提取内容的 URL。

    Returns:
        dict: 包含结构化数据的 JSON 格式结果。
    """

配置指南

环境变量设置

创建 .env 文件并添加以下内容：

# OpenAI API Key - 用于 AI 功能
OPENAI_API_KEY=your_openai_api_key_here

# Firecrawl API Key - 用于网络爬取功能
FIRECRAWL_API_KEY=your_firecrawl_api_key_here

获取 API 密钥

OpenAI API Key：访问 OpenAI 平台，登录后进入 API Keys 界面，创建新的 Secret Key。
Firecrawl API Key：访问 Firecrawl 官网，注册或登录后，在仪表盘中生成新密钥。

🔧 技术细节

先决条件

Python 版本要求：需要 Python 3.6 或更高版本。
包管理工具：确保已安装 uv 包管理器（用于依赖项管理）。
API 密钥：
- OpenAI API Key：用于 AI 功能，需从 OpenAI 平台获取。
- Firecrawl API Key：用于网络爬取功能，需从 Firecrawl 官网获取。

⚠️ 故障排除

错误类型

确保 .env 文件中的 API 密钥填写正确。
检查网络连接，确保可以访问外部服务。

常见问题

如出现 ConnectionError，可能是代理设置或网络限制导致。
如出现 AuthenticationError，请重新检查密钥是否有效。

📞 联系方式

项目地址：GitHub 地址
邮件联系：contact@websearchproject.com
讨论群组：加入 WebSearch 用户群

感谢您使用 WebSearch 工具！如需帮助，请随时联系我们的支持团队。

WebSearch Tools