Mobile-Agent 是阿里巴巴和北京交通大学开发的可以模拟人类操作手机的自主多模态 AI 代理。该项目利用人工智能技术，特别是在多模态大型语言模型（如 GPT-4V）的应用，以实现移动设备代理的自主决策和交互。

Mobile-Agent 首先利用视觉感知工具来准确识别和定位应用程序前端界面中的视觉和文本元素。基于感知到的视觉上下文，它会自主规划和分解复杂的操作任务，并逐步导航移动应用程序进行操作。

实验结果表明 Mobile-Agent 取得了显著的准确率和完成率。即使有挑战性的指令，例如多应用程序操作，Mobile-Agent 仍然可以完成要求。

Mobile-Agent 最大的特点为：

纯可视化解决方案，独立于 XML 和系统元数据。

操作范围不受限制，可进行多应用操作。

多种视觉感知工具，用于操作定位。

无需探索和培训，即插即用。