atla-mcp-server

🚀 Atla MCP 服务器

Atla MCP 服务器提供标准化接口，助力大语言模型（LLM）与 Atla API 交互，实现对先进 LLM 的精准评估。

了解更多信息，请访问此处。了解更多关于模型上下文协议的内容，请访问此处。

🚀 快速开始

要使用 MCP 服务器，您需要一个 Atla API 密钥。您可以在此处找到现有密钥，或在此处创建新密钥。

✨ 主要特性

可用工具

• evaluate_llm_response：依据给定评估标准，评估大语言模型对提示的响应。该函数借助底层的 Atla 评估模型，返回一个字典，包含模型响应得分和文本反馈（包含对模型响应的意见）。
• evaluate_llm_response_on_multiple_criteria：从多个评估标准的角度，评估大语言模型对提示的响应。此函数使用底层的 Atla 评估模型，返回一个列表，其中每个元素都是一个字典，包含某个标准的评估得分和反馈。

📦 安装指南

环境管理工具安装

我们推荐使用uv来管理 Python 环境。请参阅此处获取安装说明。

手动运行服务器

安装好uv并获取 Atla API 密钥后，您可以手动运行 MCP 服务器：

ATLA_API_KEY=<your-api-key> uvx atla-mcp-server

💻 使用示例

连接到服务器

OpenAI 代理 SDK

有关使用 OpenAI 代理 SDK 与 MCP 服务器交互的更多细节，请参阅官方文档。

安装 OpenAI 代理 SDK

pip install openai-agents

使用 OpenAI 代理 SDK 连接到服务器

import os

from agents import Agent
from agents.mcp import MCPServerStdio

async with MCPServerStdio(
        params={
            "command": "uvx",
            "args": ["atla-mcp-server"],
            "env": {"ATLA_API_KEY": os.environ.get("ATLA_API_KEY")}
        }
    ) as atla_mcp_server:
    ...

Claude Desktop

有关在 Claude Desktop 中配置 MCP 服务器的更多细节，请参阅官方快速入门指南。

配置文件添加内容

将以下内容添加到claude_desktop_config.json文件中：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

应用更改

重启 Claude Desktop 以应用更改。现在，您应该会在可用的 MCP 工具列表中看到atla-mcp-server选项。

Cursor

有关在 Cursor 中配置 MCP 服务器的更多细节，请参阅官方文档。

配置文件添加内容

将以下内容添加到~/.config/cursor.json文件中：

{
  "mcpServers": {
    "atla-mcp-server": {
      "command": "uvx",
      "args": ["atla-mcp-server"],
      "env": {
        "ATLA_API_KEY": "<your-atla-api-key>"
      }
    }
  }
}

🤝 贡献

欢迎为该项目做出贡献！请访问此处查看如何参与。

📄 许可证

此项目受MIT License的保护。