从"会说话"到"会动手"：中国大模型，突然开始自己操作软件了
本篇以 🇨🇳 中国大陆模型视角展开：以 DeepSeek V4-Flash-Vision-Exp 与阿里 Qwen-UI-Agent 同日双发为锚点，拆解中国大模型如何从"生成文字"跨越到"看懂屏幕、动手操作"，以及这对品牌 GEO 意味着什么。
GEO Labs · GEO百科第19期 · 2026年8月22日
就在这个周末，中国大模型干了件以前只有"科幻片"里才有的事。
8 月 21 日深夜，一直以"纯文本性价比之王"著称的 DeepSeek，悄悄上线了一个实验性模型 DeepSeek-V4-Flash-Vision-Exp——它第一次能"看"了：你丢给它一张截图、一张图表、一段带文字的图片，它能读懂，还能接着推理、执行任务。官方给的评价很克制，但很戳人：多模态 Agent 能力，已经接近 Anthropic 的 Opus 4.8。
几乎同一时间，阿里放出了一个更"吓人"的东西——Qwen-UI-Agent。它不是"回答问题"的模型，而是"动手操作"的模型：能看懂手机屏幕、电脑桌面、网页，然后像真人一样点击、输入、滑动，自己去操作那些根本没有 API 的软件。在移动端基准 MobileWorld 上，它拿了 82.1%，比 GPT-5.6 Sol 高 12 个百分点，比 Claude Opus 4.8 高 14.6 个百分点。
一个长出了眼睛，一个长出了手。
中国大模型，正在从"会说话"，突然变成"会动手"。
这到底发生了什么？
先别被"Agent 化跃迁"这种词吓到。它其实就一句话：大模型过去是"动嘴"的——你问，它答；现在开始"动手"了——你给个目标，它自己去看、自己去点、自己去把事办完。
拆开看，这两次发布补的，恰好是"从嘴到手"之间缺的那两块拼图。
第一块，是"眼睛"。 DeepSeek 之前是纯文本模型，你只能喂文字、它只能吐文字。但真实世界里大量任务的第一步是"看清现场"——一张报销单、一份合同截图、一个满是数据的图表。Vision-Exp 补上了这块：它能描述图片、识别截图里的文字、分析图表。而且延续 DeepSeek 的老本行——便宜。非高峰时段每百万输入 token 只要 0.22 美元，和纯文本版一个价。换句话说，"看得见"这件事，DeepSeek 几乎是免费送给你的。
第二块，是"手"。 光看得见还不够，很多事得真的去"动"——订个票、填个表、在后台系统里点几下。以前的模型做不到，因为大部分软件没有 API 可以调用。Qwen-UI-Agent 换了个思路：既然没有 API，那就像人一样操作屏幕。 它不看代码，直接看界面，然后模拟点击、输入、滑动。为了让模型真的会"动手"，阿里搭了 100 多台真实手机、150 多款应用的真机环境去训练它，还专门建了一个叫 MobileWorld-Real 的真机基准——结果是 92.2%。在电脑端的 OSWorld-Verified 上，它也有 79.5%。
把它俩放一起看，事情就清楚了："看得懂"+"动得了"，就等于一个能在真实世界里干活的 Agent 雏形。 中国大模型的竞争，从"谁的话说得更漂亮"，悄悄变成了"谁的手更能干活"。
为什么这对品牌和 GEO 特别重要？
如果你只把这当成一条科技新闻，那就错过了重点。这件事，正在改写你品牌"被 AI 找到、被 AI 推荐"的方式。
第一，AI 不再只"读网页"了，它开始"用软件"。 过去 GEO 的全部假设是：品牌内容在网页上，AI 抓取网页、生成答案时引用你。但 Qwen-UI-Agent 这类模型，是直接打开 App、操作界面、完成任务的。当用户问"帮我订一张明天杭州到上海的高铁票"，AI 不会甩给你一个链接，而是自己打开 App、自己下单。品牌从"被引用的一段文字"，变成了"被 AI 亲手操作的一个入口"。 你的 App 界面好不好点、信息结构清不清楚，直接决定 AI 会不会选你。
第二，图片和截图，成了新的"可引用资产"。 多模态模型来了之后，AI 能"读图"了。这意味着品牌内容里那些图表、信息图、产品截图、流程图，从"人看的装饰"，变成了"AI 能提取的事实"。一个做得很清楚、标签写得很规范的信息图，可能比三段文字更容易被 AI 读懂并引用。反过来，那些"全是截图文字、没有结构化说明"的内容，在多模态时代反而吃亏。
第三，Agent 的"手"伸进了没有 API 的封闭系统。 过去 AI 只能碰"开放给它的东西"——有 API 的、能被爬虫抓的。现在它能像人一样进 App、进后台。这意味着，即使你的品牌内容没有公开 API、没有被搜索引擎收录，只要你的 App 或系统"能被操作"，AI 就有可能用你。 GEO 的边界，从"公开网页"扩展到了"可被操作的界面"。
第四，中国大模型的 Agent 化，正在改变"背后的模型是谁"。 中国开源模型下载量已经占全球 41%、世界第一，OpenRouter 周调用榜前六全是中国团队。当越来越多 Agent 默认调用中国开源模型做底座，你品牌在海外市场被引用时，"背后是哪个模型"的分布正在变化——它可能更懂中文语境、更偏向某些信源结构。品牌做 GEO，不能再只盯着 GPT 和 Claude 了。
3 个可以立即执行的动作
动作一：给品牌内容做一次"可读图"体检
把品牌最核心的几页内容——产品介绍、服务说明、数据报告——拿出来问一句：如果一个只能"看图+读字"的 AI 来理解这页，它能准确提取出"我们是谁、做什么、为什么可信"吗？
判断标准：每页关键信息是否有清晰的文字说明（不是只嵌在图片里），图表是否有标题和图例，截图是否有配套的结构化文字。做不到的，就是多模态时代的"盲区内容"。
动作二：把"界面可操作性"纳入 GEO 检查项
如果你有 App、小程序或后台系统，让团队模拟"一个 AI 要完成一次核心任务"——比如下单、查余额、预约——走一遍界面，看它顺不顺、结构清不清楚。
判断标准：核心任务能否在 3 步内完成，关键按钮/入口是否有清晰的文字标签（而不是只有图标），流程是否依赖"人看了才懂的上下文"。AI 操作界面靠的是"看得懂"，不是"猜得中"。
动作三：更新你的"多模型监测清单"，加进中国模型
现在的 GEO 监测，很多人只盯 ChatGPT、Gemini、Perplexity。但中国模型的 Agent 化正在加速，DeepSeek、Qwen 的 Agent 形态值得单独列一条。
判断标准：在你的品牌 AI 可见度监测表里，至少加上一个中国大模型的入口（如 DeepSeek、通义千问），记录品牌在其中"被引用/被推荐/被操作"的情况，和海外引擎做对比。
一个 90 天内可以验证的目标
用 90 天，完成一次"从被引用到被操作"的适配测试：挑一个品牌的核心任务（比如"了解产品并预约试用"），分别验证它在"纯文本 AI 回答"和"GUI Agent 操作"两种形态下的表现——AI 能不能准确引用你的信息？AI 能不能顺利走完你的界面？
验收标准：产出一份两列对照表（"可被引用" vs "可被操作"），标出至少 3 处需要补齐的盲区，并完成其中 1 处的实际改造（比如给某张核心信息图补上结构化文字说明，或给某个关键入口加上清晰的文字标签）。
记住一条底线：当 AI 从"读你的内容"变成"用你的界面"，品牌 GEO 就不再只是"内容问题"，而是"可用性问题"。
一个值得追踪的问题
中国大模型这次是"眼睛"和"手"分头补的——DeepSeek 补视觉，阿里补操作。那么下一步，会不会有人把两块拼图拼成一个"又能看、又能动手、还便宜"的完整 Agent？如果真出现了，品牌被 AI"亲手服务"的时代，就真的来了。
还有一个更尖锐的问题：当 AI 能自己打开 App、自己下单、自己操作后台时，"推荐权"会从"搜索引擎排第几"变成"Agent 默认选谁"——到那时，你靠什么让 AI 的"手"伸向你，而不是伸向你的竞品？
你的品牌，准备好被 AI"亲自动手"了吗？
GEO Labs 将持续追踪中国大模型 Agent 化（视觉理解 + GUI 操作）对品牌被引用、被推荐方式的影响。有关本话题的逐日动态，请参考 GEO Labs 监测底稿（内部）。