JinDaGe - MCP-server-client-computer-use-ai-sdk MCP Details

article

README

🚀 计算机使用 AI SDK

计算机使用 AI SDK 是由 screenpipe 推出的开源工具，它构建了一个控制计算机的 MCP 服务器。当下，OpenAI 的操作符以及 Claude 的计算机使用功能备受关注，而此 SDK 则是它们的开源替代方案。它能在 macOS 上本地运行，无需虚拟机，也没有限制，可与任意应用程序或网站搭配使用。并且，它依托底层桌面渲染元素，相比基于像素的视觉模型，速度更快、可靠性更高。你可以借助我们简单的 Hello World 模板，利用 MCP 服务器和客户端构建自己的代理。

🚀 快速开始

克隆仓库

git clone https://github.com/m13v/computer-use-ai-sdk.git
cd MCP-server-client-computer-use-ai-sdk

安装依赖

# 安装Rust（如果尚未安装）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 安装Node.js和npm（如果尚未安装）
# 访问 https://nodejs.org/ 或使用nvm

运行后端服务器

# 运行后端服务器
cd mcp-server-os-level
cargo run --bin server
# 保持运行状态

选择运行界面

选项 1：命令行界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-cli-interface
npm install  # 首先安装依赖项

# 设置Anthropic API密钥作为环境变量
export ANTHROPIC_API_KEY=sk-ant-xxxx  # 将xxxx替换为你的实际Anthropic API密钥
# 对于Windows，请使用：set ANTHROPIC_API_KEY=sk-ant-xxxx
# 想要永久设置，请将其添加到shell配置文件（.bashrc, .zshrc等）
npx tsx main.ts

选项 2：Web 应用程序界面

# 在新终端中运行CLI界面客户端（适合调试）
cd mcp-client-nextjs
npm install  # 首先安装依赖项

# 通过命令行设置API密钥
echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" > .env  # 将XXXXXXXX替换为你的实际密钥
# 或追加以保留其他环境变量
# echo "ANTHROPIC_API_KEY=sk-ant-XXXXXXXX" >> .env

npm run dev
# 打开提供的localhost网页

✨ 主要特性

开源替代：作为 OpenAI 操作符和 Claude 计算机使用功能的开源替代方案。
本地运行：可在 macOS 上本地运行，无需虚拟机，无使用限制。
兼容性强：能与任何应用程序或网站自由结合使用。
高效可靠：依赖底层桌面渲染元素，比基于像素的视觉模型更快且可靠。
功能丰富：MCP 服务器提供启动应用程序、读取内容、点击、输入文本、按下键等工具。

💻 使用示例

示例演示

代理发送消息

代理发送消息视频

获取最新 WhatsApp 消息

打开 Arc 浏览器

📚 详细文档

可实现的功能

构建自定义工作流：构建自定义工作流程代理以执行各种操作。
创建自动化界面：为用户构建易于使用的计算机自动化界面。
保存与定时运行：保存工作流程并设置 cron 定时运行。
结合其他服务器：结合其他 MCP 服务器完成酷炫任务，例如根据你全天与之对话的人的历史记录填充 Google 表格。

反馈渠道

如果你有任何问题或功能请求，请在我们的 GitHub 仓库中提交。

MCP-server-client-computer-use-ai-sdk