痛点：AI Agent 能聊天，但不能替你操作电脑
过去一年的 AI Agent 进步集中在「能做什么」——写代码、查资料、调 API。但有一个基本需求始终没有被很好解决：让 Agent 直接操控桌面。
不是调 API，不是写脚本，而是像人一样移动鼠标、点击按钮、输入文本、拖拽文件。这就是 Computer Use（计算机使用）范式的核心。
trycua/cua 就是为了解决这个问题而诞生的开源基础设施。
方案拆解
架构概览
┌─────────────────────────────────────────┐
│ CUA Agent Core │
│ ┌───────────┬───────────┬───────────┐ │
│ │ Vision │ Decision │ Action │ │
│ │ Engine │ Engine │ Engine │ │
│ └───────────┴───────────┴───────────┘ │
├─────────────────────────────────────────┤
│ Platform Sandboxes │
│ ┌──────────┬──────────┬──────────┐ │
│ │ macOS │ Linux │ Windows │ │
│ │ Sandbox │ Sandbox │ Sandbox │ │
│ └──────────┴──────────┴──────────┘ │
├─────────────────────────────────────────┤
│ SDK + Benchmarks │
└─────────────────────────────────────────┘核心能力
| 组件 | 功能 | 状态 |
|---|---|---|
| 沙箱环境 | 隔离的桌面环境，Agent 可以在里面安全操作 | ✅ 支持 macOS/Linux/Windows |
| SDK | Python SDK，快速集成 CUA 到你的应用 | ✅ 可用 |
| 评测基准 | 标准化的 Computer Use 能力评测 | ✅ 内置 |
| 训练框架 | 用真实操作数据训练 Computer Use 模型 | ✅ 可用 |
与同类方案对比
| 方案 | 开源 | 跨平台 | 沙箱 | 评测基准 | 社区活跃度 |
|---|---|---|---|---|---|
| CUA (trycua) | ✅ | macOS/Linux/Win | ✅ | ✅ | 🔥 15K+ stars |
| Anthropic Computer Use | ✅ | Linux only | ❌ | ❌ | ⚡ 中等 |
| OpenAI Operator | ❌ | Web only | N/A | N/A | N/A |
| OS-Copilot | ✅ | Linux/Mac | ❌ | 有限 | ⚡ 低 |
CUA 的核心差异化在于：它不是单一模型，而是完整的基础设施。从沙箱到 SDK 到评测，提供了一条完整的 Computer Use Agent 开发和部署路径。
为什么值得关注
1. 桌面自动化是 Agent 的下一个前沿
API 调用已经不够了。真正的通用 Agent 需要能操作 GUI——填写表单、配置软件、处理截图、操作 IDE。CUA 提供的基础设施正是这个方向的基础建设。
2. 15K stars 意味着生态正在形成
一周内 15K stars 说明社区对这个方向的需求极其强烈。随着贡献者增加，CUA 很可能成为 Computer Use Agent 领域的事实标准，就像 LangChain 之于 LLM 应用。
3. 开源意味着可控
与 Anthropic 和 OpenAI 的闭源方案不同，CUA 是开源的。这意味着：
- 可以审计 Agent 的所有操作
- 可以自定义沙箱策略
- 可以用自己的数据训练模型
- 可以部署到本地，无需云端依赖
快速上手
安装
pip install cua最小示例
from cua import ComputerUseAgent
agent = ComputerUseAgent(
model="your-vlm-model",
platform="macos", # 或 "linux" / "windows"
sandbox=True # 启用隔离沙箱
)
# 让 Agent 执行任务
result = agent.execute("打开浏览器，访问 github.com，搜索 'CUA'")
print(result)运行评测
cua benchmark run --suite desktop-nav
cua benchmark run --suite form-filling
cua benchmark run --suite ide-operations适用场景
- RPA 替代：用 AI Agent 替代传统规则驱动的 RPA 流程
- QA 自动化：自动执行 GUI 测试，覆盖复杂交互场景
- 远程运维：Agent 操作远程桌面进行系统配置
- 数据录入：在遗留系统中自动填写表单
- 教学演示：录制 AI 操作桌面作为教程
选择建议
适合用 CUA 的场景
- 需要跨平台桌面自动化
- 想要开源、可审计的方案
- 需要训练自己的 Computer Use 模型
可能不适合的场景
- 只需要简单的网页自动化（用 Playwright/Selenium 更简单）
- 需要商业 SLA 支持（目前 CUA 是社区项目）
- 对安全性要求极高（沙箱是隔离的，但仍需自行审计）
CUA 代表了一个清晰的趋势：AI Agent 的边界正在从 API 层扩展到整个桌面。对于开发者来说，现在是学习 Computer Use 范式、积累相关经验的好时机。