JinDaGe - PyAutoGUI MCP Details

article

README

🚀 mcp-pyautogui-server

一个基于模型上下文协议（Model Context Protocol）的服务器，借助PyAutoGUI实现自动化的图形用户界面测试与控制功能，为跨平台的图形界面操作提供便利。

🚀 快速开始

mcp-pyautogui-server 是一个基于模型上下文协议的服务器，通过 PyAutoGUI 提供自动化的图形用户界面测试和控制功能。它支持跨平台使用，可在 Windows、macOS、Linux 系统上运行。

✨ 主要特性

控制鼠标移动和点击
模拟键盘输入
截取屏幕截图
在屏幕上查找图像
获取屏幕信息
跨平台支持（Windows、macOS、Linux）

📦 安装指南

先决条件

Python 3.12+
PyAutoGUI
其他依赖项会自动安装

安装步骤

安装包：

pip install mcp-pyautogui-server

Claude Desktop 配置

在 MacOS 上：

~/Library/Application\ Support/Claude/claude_desktop_config.json

在 Windows 上：

%APPDATA%/Claude/claude_desktop_config.json

开发/未发布的服务器配置：

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uv",
      "args": [
        "--directory",
        "/path/to/mcp-pyautogui-server",
        "run",
        "mcp-pyautogui-server"
      ]
    }
  }
}

已发布的服务器配置：

{
  "mcpServers": {
    "mcp-pyautogui-server": {
      "command": "uvx",
      "args": [
        "mcp-pyautogui-server"
      ]
    }
  }
}

📚 详细文档

工具

该服务器实现了以下工具：

鼠标控制

将鼠标移动到特定坐标
在当前位置或指定位置点击
拖放操作
获取当前鼠标位置

键盘控制

输入文本
按下单个键
组合快捷键

屏幕操作

截取屏幕截图
获取屏幕大小
查找屏幕上图像的位置
获取像素颜色

🔧 技术细节

开发

构建和发布

同步依赖项并更新锁定文件：

uv sync

构建包分發：

uv build

发布到 PyPI：

uv publish

注意：通过环境变量或命令行参数设置 PyPI 资凭证：

令牌：--token 或 UV_PUBLISH_TOKEN
用户名/密码：--username/UV_PUBLISH_USERNAME 和 --password/UV_PUBLISH_PASSWORD

调试

为了获得最佳调试体验，使用 MCP 检查器。

通过 npm 启动 MCP 检查器：

npx @modelcontextprotocol/inspector uv --directory /path/to/mcp-pyautogui-server run mcp-pyautogui-server

检查器会显示一个 URL，您可以在浏览器中访问该 URL 以开始调试。

📄 许可证

该项目遵循 MIT 许可证 - 查看 LICENSE 文件了解详细信息。

PyAutoGUI