作者｜杨文
编辑｜六耳
来源｜AI先锋官
今年这波AI浪潮，几乎所有的互联网厂商都急不可耐：
3月16日百度发布文心一言
4月11日阿里发布通义千问
5月6日科大讯飞发布星火大模型
6月13日三六零发布360智脑
6月28日字节跳动发布火山方舟
7月7日华为发布盘古3.0
7月13日京东发布灵犀
7月17日携程发布携程问道
7月26日网易发布子曰教育大模型
……
唯独腾讯“他强任他强，清风拂山岗”，那慢慢悠悠的劲儿，跟老大爷遛弯似的，直到9月7日才正式推出了混元大模型。
一个多月后，小编拿到了内测资格，体验了一番腾讯的混元助手，说实话，它的表现并不尽如人意，仍然会一本正经地胡说八道，上下文记忆能力、逻辑推理能力均有待提高。
当你还在纳闷腾讯葫芦里到底卖的啥药时，它就冷不丁地放了个大招——AppAgent。这个“腹黑企鹅”闷声干大事啊。
最近，腾讯团队发表了一篇论文——AppAgent: Multimodal Agents as Smartphone Users（AppAgent：作为智能手机用户的多模式代理），同时开源了代码。
AppAgent究竟是个什么鬼？论文中是这样介绍的：AppAgent 是一种由大型语言模型提供支持的高级多模式代理，能够掌握和利用任何应用程序来执行复杂的任务。它通过直观的点击和滑动手势与应用程序交互，模仿人类的动作。
通俗来说，AppAgent可以学习用户的手机操作习惯，在手机上自己执行各种操作。用户只需要告诉AppAgent你想干什么，它就自动打开相应的手机APP，直接把活给干了。
比如说，它可以模仿用户的口吻在社交媒体APP上发帖、搜索视频并评论、撰写和发送邮件，还能P图、导航、定闹钟，甚至还能线上购物，总之一句话，AppAgent就是帮人类干活的智能小助手。
如此强悍的功能是如何做到的呢？
据论文显示，AppAgent分两个阶段运行，分别称为探索阶段和部署阶段。
在第一阶段，AppAgent观察不同应用程序用户界面的交互情况。通过充分观察，AppAgent就能熟练使用某个应用程序。这些知识被精心地汇编成文档。一旦这个学习阶段完成，AppAgent就开始自己采取行动。
在第二阶段，AppAgent可以跨任何受支持的应用程序处理高级任务。这种有条不紊的方法使AppAgent能够高效地完成不同应用程序中的各种复杂任务。
为了证明AppAgent的实用性，论文团队对Temu、Gmail、X、Youtube 等十款APP的50项任务进行了广泛的测试，包括社交媒体、电子邮件、地图、购物和复杂的图像编辑工具。
论文中还给出了AppAgent在Gmail和X平台上的演示。例如，让AppAgent在 Gmail 中发一封邮件。在向AppAgent 发出要求之后，AppAgent 直接打开 Gmail，找到相应联系人，洋洋洒洒地写了一封邮件并发送给对方。全程不需要人类自己动手。
听完小编的介绍，大家是否觉得腾讯这波操作很牛呢？“自己动手，丰衣足食”这句话在AI时代可能要改改了，以后点外卖、打车、购物、签到……通通不用人类动手，一个AppAgent就搞定了，妥妥的“AI动手，丰衣足食”。
当然，也有人担心，技术的不稳定性让AppAgent 给人类带来便利的同时，也带来麻烦。因为一旦系统出了bug，AppAgent 抽个风把购物车清空，打工人得哭晕在厕所；抑或是AppAgent一顿胡言乱语把多年的好友气走……
不过，即便如此，未来仍然可期。
开源地址：
https://github.com/mnotgod96/AppAgent
论文地址:
https://arxiv.org/abs/2312.13771
项目地址：
https://appagent-official.github.io/
（来源：AI先锋官）
相关文章