Back to MCP directory
publicPublicdnsLocal runtime

multi-llm-cross-check-mcp-server

一个支持多LLM提供商并行查询的模型控制协议服务器,可同时调用OpenAI、Anthropic、Perplexity和Google的API进行交叉验证,提供统一接口并支持异步处理。

article

README

🚀 多 LLM 跨HECK MCP 服務器

多 LLM 跨HECK MCP 服務器是一個模型控制协议(MCP)服务器,它允許同時交叉驗證來自多家大型語言模型供應商的回應。通過與Claude Desktop整合為MCP伺服器,提供統一接口來查詢不同的LLM APIs,提升使用效率。

🚀 快速开始

多 LLM 跨HECK MCP 服務器能夠幫助你輕鬆實現多個LLM供應商的并行查詢。按照以下步驟操作,即可快速啟用服務。

✨ 主要特性

  • 并行查询:可并行查詢多個 LLM 供應商,提高查詢效率。
  • 多供應商支持:目前支持OpenAI (ChatGPT)、Anthropic (Claude)、Perplexity AI、Google (Gemini)等供應商。
  • 异步并行處理:采用异步并行處理方式,加快回應速度。
  • 集成便捷:能夠輕鬆集成到Claude Desktop中。

📦 安装指南

前提條件

  • Python 3.8或更高版本
  • 使用的LLM供應商API密鑰
  • uv包管理器(使用pip install uv安裝)

安装步骤

  1. 克隆此仓库:
git clone https://github.com/lior-ps/multi-llm-cross-check-mcp-server.git
cd multi-llm-cross-check-mcp-server
  1. 初始化uv環境並安裝需求:
uv venv
uv pip install -r requirements.txt
  1. 在Claude Desktop中配置: 創建一個名為claude_desktop_config.json的文件,放置在你的Claude Desktop配置目錄下,內容如下:
{
    "mcp_servers": [
        {
            "command": "uv",
            "args": [
                "--directory",
                "/multi-llm-cross-check-mcp-server",
                "run",
                "main.py"
            ],
            "env": {
                "OPENAI_API_KEY": "your_openai_key",  // 設置為你的OpenAI密鑰,來源https://platform.openai.com/api-keys
                "ANTHROPIC_API_KEY": "your_anthropic_key",  // 設置為你的Anthropic密鑰,來源https://console.anthropic.com/account/keys
                "PERPLEXITY_API_KEY": "your_perplexity_key",  // 設置為你的Perplexity密鑰,來源https://www.perplexity.ai/settings/api
                "GEMINI_API_KEY": "your_gemini_key"  // 設置為你的Gemini密鑰,來源https://makersuite.google.com/app/apikey
            }
        }
    ]
}

注意事項

  • 只需添加你計劃使用的LLM供應商的API密鑰。服务器將自動跳過未配置API密鑰的提供者。
  • 可能需要將uv可執行文件的完整路徑放在command字段中。你可以通過運行which uv(MacOS/Linux)或where uv(Windows)來獲取此路徑。

💻 使用示例

基础用法

配置完成後:

  1. 開啟Claude Desktop時,服務將自動啟動。
  2. 你可以在對話中使用“cross_check”工具,要求“與其他LLM交叉驗證”。
  3. 提供提示,然後它會返回所有已配置LLM供應商的回應。

高级用法

服务器返回一個字典,包含每個LLM供應商的回應:

{
    "ChatGPT": { ... },
    "Claude": { ... },
    "Perplexity": { ... },
    "Gemini": { ... }
}

如果某個模型出現錯誤(例如密鑰無效或網絡問題),該部分將被標記為錯誤,但不會影響其他模型的回應。

📚 详细文档

扩展和改進

  • 支持更多LLM供應商:如Amazon AI、Microsoft Azure、Hugging Face等。
  • 增強錯誤處理:添加更詳細的日誌記錄和錯誤信息報告。
  • 結果分析功能:添加統計數據或可視化工具來幫助用戶比較不同模型的回答。
  • 高可用性設計:實現負載均衡和故障切換機制,確保在一個供應商不可用時仍能使用其他供應商。

這個項目的核心思想是通過MCP协议將多個LLM服務統一起來,利用并行請求提高性能,并提供靈活的配置來滿足不同用戶的需求。

help

Runtime guide

cloud

Hosted runtime

Hosted servers run from a provider-managed environment. You usually connect the MCP client to the hosted endpoint or follow the provider's authorization flow, without keeping a local process alive

  1. Open provider connection page
  2. Authorize or copy endpoint
  3. Connect from your MCP client
terminal

Local runtime / other methods

Local servers run on your own machine or infrastructure. You normally copy the server_config into your MCP client, install the required package, and provide env variables from env_schema when needed

  1. Copy server_config
  2. Install required package
  3. Fill env variables and restart client