XPhoneUse:把真机手机交给AI智能体操作,免费开源的跨平台手机镜像与自动化工具
XPhoneUse 是一款将真实 Android 或 iPhone 手机镜像到电脑,并通过 MCP、CLI 和 Skill 把手机操作能力交给 Claude、Codex、WorkBuddy 等 AI 智能体的免费工具,让 AI 能像人一样点击、滑动、输入和读屏。
XPhoneUse是什么
XPhoneUse 是一款跨平台手机镜像与智能体操作工具,支持 Windows、macOS 和 Linux。它的核心思路不是让 AI 操作模拟器,而是把用户手上那台真实手机镜像到电脑桌面,再把点击、输入、滚动、截图等能力通过接口暴露给 AI 智能体。
与模拟器方案的关键区别在于:手机还是那台手机,账号还是你的账号,应用状态一点没变,只是操作它的人从你变成了 AI 智能体(或你和 AI 共用同一条连接)。产品免费、无需注册,MCP 端点只监听本地 127.0.0.1:7070,数据不离开用户电脑。
XPhoneUse的主要功能
| 功能类别 | 功能描述 |
|---|---|
| 真机镜像 | Android 走 scrcpy,iPhone 走 USB 隧道,画面、输入、截图共用一根数据线。控制 iPhone 不需要 Xcode、Apple 开发者账号或 XCTest,插线后点一次“信任”即可 |
| 智能体接口 | 内置 MCP 服务、CLI 命令行工具和 Skill,智能体可通过归一化坐标执行 tap、longtap、swipe、scroll、text 等操作 |
| 离线读屏 | 提供 ocr 命令在电脑本地离线识别屏幕文字,不联网、不消耗图片 token;Android 额外支持 ui-tree 和 find 按文字定位控件 |
| 截图对比 | screenshot --compare 在本地做像素差异检测,只在画面真的变化时才需要智能体“看图”,大幅降低 token 消耗 |
| 对话副驾 | 可选功能:屏幕静止时自动截屏,离线 OCR 读出聊天记录,起草 3 条候选回复。永不自动发送,点选只是填入输入框 |
| 宏与文件 | 支持录屏、宏录制回放、文件浏览与拖拽传输、模拟定位(地图选点) |
如何使用XPhoneUse
第一步:安装桌面端
从 XPhoneUse 官网下载对应系统的安装包(exe / dmg / deb / AppImage)并运行。Windows 安装器会补齐驱动,无需 iTunes。
第二步:连接手机
-
Android:开启开发者选项和 USB 调试,插线后在手机上点“允许”。
-
iPhone:解锁手机、插线、点“信任此电脑”。应用会自动下载并挂载所需的开发者镜像(iOS 27+ 首次约 16MB),如提示开启开发者模式,按引导操作即可。
第三步:把 Skill 装给智能体
在你正在使用的 AI 智能体对话中输入:
请安装 skill:https://xphoneuse.com/static/skills/xphoneuse.zip
智能体会自行完成安装,之后就知道如何连接和驱动手机。
第四步:让智能体执行任务
安装完成后,直接向智能体下达指令,例如“看看我的手机一共有多少个 App”或“进入多邻国完成一项日语学习任务”。
XPhoneUse如何收费
XPhoneUse 完全免费,无需注册。没有账号体系、没有中转服务器、没有云端订阅费用。所有数据留在用户电脑上,MCP 端点仅监听本地端口。
XPhoneUse的应用场景
-
让 AI 替你操作手机应用:自动完成签到、打卡、学习任务等重复性手机操作,智能体通过读屏和点击独立执行。
-
跨设备自动化测试:开发者用 AI 智能体驱动真机进行 App 功能验证,利用截图对比和控件查找降低测试成本。
-
对话辅助(可选):开启“对话副驾”后,AI 在屏幕静止时起草候选回复,适合需要快速应对话痨消息但不想完全放手的场景。
-
远程查看与控制:在电脑上镜像操作手机,适合手机不在手边时快速查看和处理事务。
常见问题
-
XPhoneUse 和 Scrcpy 有什么区别?
Scrcpy 是给人用的镜像控制工具;XPhoneUse 在镜像基础上增加了面向 AI 智能体的接口层(MCP/CLI/Skill),让 Agent 能通过标准化命令操控手机,并提供了 OCR、截图对比、控件查找等智能体专用能力。 -
控制 iPhone 需要越狱或开发者账号吗?
不需要。XPhoneUse 通过设备自身的 USB 服务通信,不用 Xcode、不用 Apple 开发者账号、不用 XCTest。插线点“信任”即可。 -
数据安全吗?会被上传到云端吗?
MCP 端点只监听127.0.0.1:7070,设备连接走 USB 或用户自己的局域网。没有中转服务器、没有遥测、不记录用户在手机上的操作。 -
智能体会不会误操作我的手机?
存在这种可能。XPhoneUse 官方建议智能体遵循“先看再做、做后再验”的原则,并推荐“一次一个动作”的操作方式。对话副驾的“永不自动发送”设计也是为了降低误操作风险。对于关键操作,建议保持人工监督。
如有更多关于 XPhoneUse 的疑问,请评论区留言;

XPhoneUse–把真机手机交给AI智能体操作,免费开源的跨平台手机镜像与自动化工具