README
🚀 多 LLM 跨HECK MCP 服務器
多 LLM 跨HECK MCP 服務器是一個模型控制协议(MCP)服务器,它允許同時交叉驗證來自多家大型語言模型供應商的回應。通過與Claude Desktop整合為MCP伺服器,提供統一接口來查詢不同的LLM APIs,提升使用效率。
🚀 快速开始
多 LLM 跨HECK MCP 服務器能夠幫助你輕鬆實現多個LLM供應商的并行查詢。按照以下步驟操作,即可快速啟用服務。
✨ 主要特性
- 并行查询:可并行查詢多個 LLM 供應商,提高查詢效率。
- 多供應商支持:目前支持OpenAI (ChatGPT)、Anthropic (Claude)、Perplexity AI、Google (Gemini)等供應商。
- 异步并行處理:采用异步并行處理方式,加快回應速度。
- 集成便捷:能夠輕鬆集成到Claude Desktop中。
📦 安装指南
前提條件
- Python 3.8或更高版本
- 使用的LLM供應商API密鑰
- uv包管理器(使用
pip install uv安裝)
安装步骤
- 克隆此仓库:
git clone https://github.com/lior-ps/multi-llm-cross-check-mcp-server.git
cd multi-llm-cross-check-mcp-server
- 初始化uv環境並安裝需求:
uv venv
uv pip install -r requirements.txt
- 在Claude Desktop中配置:
創建一個名為
claude_desktop_config.json的文件,放置在你的Claude Desktop配置目錄下,內容如下:
{
"mcp_servers": [
{
"command": "uv",
"args": [
"--directory",
"/multi-llm-cross-check-mcp-server",
"run",
"main.py"
],
"env": {
"OPENAI_API_KEY": "your_openai_key", // 設置為你的OpenAI密鑰,來源https://platform.openai.com/api-keys
"ANTHROPIC_API_KEY": "your_anthropic_key", // 設置為你的Anthropic密鑰,來源https://console.anthropic.com/account/keys
"PERPLEXITY_API_KEY": "your_perplexity_key", // 設置為你的Perplexity密鑰,來源https://www.perplexity.ai/settings/api
"GEMINI_API_KEY": "your_gemini_key" // 設置為你的Gemini密鑰,來源https://makersuite.google.com/app/apikey
}
}
]
}
注意事項:
- 只需添加你計劃使用的LLM供應商的API密鑰。服务器將自動跳過未配置API密鑰的提供者。
- 可能需要將uv可執行文件的完整路徑放在command字段中。你可以通過運行
which uv(MacOS/Linux)或where uv(Windows)來獲取此路徑。
💻 使用示例
基础用法
配置完成後:
- 開啟Claude Desktop時,服務將自動啟動。
- 你可以在對話中使用“cross_check”工具,要求“與其他LLM交叉驗證”。
- 提供提示,然後它會返回所有已配置LLM供應商的回應。
高级用法
服务器返回一個字典,包含每個LLM供應商的回應:
{
"ChatGPT": { ... },
"Claude": { ... },
"Perplexity": { ... },
"Gemini": { ... }
}
如果某個模型出現錯誤(例如密鑰無效或網絡問題),該部分將被標記為錯誤,但不會影響其他模型的回應。
📚 详细文档
扩展和改進
- 支持更多LLM供應商:如Amazon AI、Microsoft Azure、Hugging Face等。
- 增強錯誤處理:添加更詳細的日誌記錄和錯誤信息報告。
- 結果分析功能:添加統計數據或可視化工具來幫助用戶比較不同模型的回答。
- 高可用性設計:實現負載均衡和故障切換機制,確保在一個供應商不可用時仍能使用其他供應商。
這個項目的核心思想是通過MCP协议將多個LLM服務統一起來,利用并行請求提高性能,并提供靈活的配置來滿足不同用戶的需求。
Scan to contact