llama-mcp-server

🚀 LibreModel MCP Server 🤖

LibreModel MCP Server 是一个模型上下文协议（MCP）服务器，它能将 Claude Desktop 与通过 llama-server 运行的本地大语言模型（LLM）实例连接起来。

🚀 快速开始

1. 安装依赖

cd llama-mcp
npm install

2. 构建服务器

npm run build

3. 启动你的 LibreModel

确保 llama-server 正在运行你的模型：

./llama-server -m lm37.gguf -c 2048 --port 8080

4. 配置 Claude Desktop

将以下内容添加到你的 Claude Desktop 配置文件（~/.config/claude/claude_desktop_config.json）中：

{
  "mcpServers": {
    "libremodel": {
      "command": "node",
      "args": ["/home/jerr/llama-mcp/dist/index.js"]
    }
  }
}

5. 重启 Claude Desktop

重启后，Claude 就可以通过 MCP 访问 LibreModel 了！

✨ 主要特性

• 💬 通过 Claude Desktop 与本地模型进行完整的对话支持。
• 🎛️ 实现完整的参数控制（温度、最大令牌数、top_p、top_k）。
• ✅ 具备健康监测和服务器状态检查功能。
• 🧪 内置针对不同能力的测试工具。
• 📊 提供性能指标和令牌使用情况跟踪。
• 🔧 可通过环境变量进行轻松配置。

💻 使用示例

基础用法

💬 chat - 主要对话工具

使用聊天工具向 LibreModel 提问："你叫什么名字，能做什么？"

🧪 quick_test - 测试 LibreModel 能力

运行类型为 "creative" 的 quick_test，查看 LibreModel 是否能写诗。

🏥 health_check - 监控服务器状态

使用 health_check 检查 LibreModel 是否正常运行。

📚 详细文档

配置

设置环境变量以自定义行为：

export LLAMA_SERVER_URL="http://localhost:8080"  # 默认的 llama-server URL

可用工具

| 工具 | 描述 | 参数 | |------|------|------| | chat | 与模型对话 | message、temperature、max_tokens、top_p、top_k、system_prompt | | quick_test | 运行预定义的能力测试 | test_type（hello/math/creative/knowledge） | | health_check | 检查服务器健康和状态 | 无 |

资源

• 配置：查看当前服务器设置。
• 说明：详细的使用指南和设置说明。

开发

# 安装依赖
npm install

# 开发模式（自动重建）
npm run dev

# 生产环境构建
npm run build

# 直接启动服务器
npm start

架构

Claude Desktop ←→ LLama MCP Server ←→ llama-server API ←→ Local Model

MCP 服务器充当桥梁，将 MCP 协议消息转换为 llama-server API 调用，并为 Claude Desktop 格式化响应。

故障排除

“无法连接到 LLama 服务器”

• 确保 llama-server 在配置的端口上运行。
• 检查模型是否已加载并能正常响应。
• 验证防火墙/网络设置。

“Claude Desktop 中找不到工具”

• 配置更改后重启 Claude Desktop。
• 检查 index.js 的路径是否正确且为绝对路径。
• 验证 MCP 服务器构建是否无错误。

响应质量不佳

• 调整温度和采样参数。
• 尝试不同的系统提示。

📄 许可证

本项目采用 CC0-1.0 许可证，属于公共领域，可自由使用！

本项目由 Claude Sonnet4 为开源人工智能和 LibreModel 项目精心打造 ❤️。