JinDaGe - mcp-pyautogui-server MCP Details

article

README

🚀 mcp-pyautogui-server

一个基于MCP（模型上下文协议）的服务器，借助PyAutoGUI实现自动化的GUI测试与控制功能，为跨平台的图形界面操作提供便捷方案。

🚀 快速开始

mcp-pyautogui-server 是基于MCP的服务器，能借助 PyAutoGUI 实现自动化的GUI测试和控制。可对鼠标、键盘进行模拟操作，还能截取屏幕、查找图像等。

✨ 主要特性

控制鼠标移动和点击
模拟键盘输入
截取屏幕截图
在屏幕上查找图像
获取屏幕信息
支持跨平台（Windows、macOS、Linux）

📦 安装指南

先决条件

Python 3.12+
PyAutoGUI
其他依赖项将自动安装

安装步骤

安装包：

pip install mcp-pyautogui-server

Claude Desktop 配置

MacOS 系统：

~/Library/Application\ Support/Claude/claude_desktop_config.json

Windows 系统：

%APPDATA%/Claude/claude_desktop_config.json

开发/未发布服务器配置

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/mcp-pyautogui-server",
        "run",
        "mcp-pyautogui-server"
      ]
    }
  }
}

已发布服务器配置

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uvx",
      "args": [
        "mcp-pyautogui-server"
      ]
    }
  }
}

📚 详细文档

该服务器实现了以下工具：

鼠标控制

将鼠标移动到特定坐标
在当前位置或指定位置点击
拖放操作
获取当前鼠标位置

键盘控制

输入文本
按下单个键
组合快捷键

屏幕操作

截取屏幕截图
获取屏幕尺寸
在屏幕上查找图像位置
获取像素颜色

🔧 技术细节

构建和发布

同步依赖项并更新锁定文件：

uv sync

构建包分发：

uv build

发布到 PyPI：

uv publish

注意：通过环境变量或命令行参数设置 PyPI 凭据：

令牌：--token 或 UV_PUBLISH_TOKEN
用户名/密码：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

调试

为了获得最佳调试体验，请使用 MCP 检查器。通过 npm 启动 MCP 检查器：

npx @modelcontextprotocol/inspector uv --directory /path/to/mcp-pyautogui-server run mcp-pyautogui-server

检查器会显示一个 URL，您可以在浏览器中访问该 URL 开始调试。

📄 许可证

该项目根据 MIT 许可证发布 - 有关详细信息，请参阅 LICENSE 文件。

mcp-pyautogui-server