让 Qwen-UI-Agent 操作 Smart Photo 的后台，它选错过一次商品

8 月 21 日阿里发了 Qwen-UI-Agent，宣传是让模型真正会用每一块屏幕，手机、网页、桌面都算。

春天我让 Codex 填过报销，点对了，慢。这次想看另一件事：让它操作一个我们自己的、它肯定没见过的后台。

官方 demo 改的，对象是 Smart Photo 的后台

跑起来的方式很简单，拿官方的 demo 改了改，没有专门部署。

操作的对象是 Smart Photo 的管理后台。选它有两个原因。一是这是我最熟的系统，哪一步该出现什么页面我都知道，它哪里走偏，我一眼能看出来。二是这是内部系统，界面没怎么打磨过，列表长，按钮多，叫法也不规范，正是这类 Agent 最容易出问题的地方。

让它改模板配置

让它做的是改模板配置。

模板是 Smart Photo 里最常动的东西。运营在前面只选场景和风格，模板背后的那套配置都在后台里，平时是产品和算法在维护。改一次，步骤不多：在长列表里找到指定的商品，进到它的模板配置，改一项，保存，确认。

步骤少，但每一步都得点对。点错一个商品，改的就是另一个商品的配置。

跑了几次，多数时候点得对

前后跑了几次。

多数时候它点得对。界面能认，按钮的意思能猜，长列表也能翻。一步一步往下走，比我预想的稳。

内部系统的很多叫法并不规范，有些按钮上的字只有我们自己看得懂。我原本担心它卡在这里，实际走下来，它靠上下文猜得大体不差。能猜对，说明这类模型对界面的理解，已经不只是认字了。

有一次选错了商品

有一次选错了。

它在列表里选中了另一个商品，然后照着要求往下做，改了配置，保存，确认。整个过程很顺，没有任何犹豫，和它点对的时候看起来一模一样。我猜是列表里名字相近的商品太多，但它为什么选了那一个，我没法确定。

我发现的时候，后台已经写下了一条记录。

撤回花了十几分钟

这条记录我手动撤回了，没有造成什么影响。撤回花了十几分钟。

十几分钟花在哪？先找到那条记录，确认是它改的那一条；再把那个商品的配置改回原来的样子，原来是什么，得去对照；最后看有没有连带的东西，比如这段时间里有没有人用这个配置生成过图。

它出错只是一下，我收拾用了十几分钟。这个比例让我想了一会儿。

后台点错，和网页上点错

网页上点错一步，退回去就行。后台点错一步，一条记录已经写下去了，退回去是另一套操作。

做仓储系统的时候我就体会过：现场搬一箱是一次动作，系统里可能是三四条记录。后台上的每一下，后面都连着记录，记录后面连着人。

Smart Photo 的后台也一样。模板配置改了，后面用这个模板的人，出来的图就跟着变。这些变化有人看，也会被统计。

所以电脑操作 Agent 在后台和在网页上，是两件难度不同的事。认得出，和敢让它点，中间还差一个东西：点错了能不能回，回要花多少功夫。

它不会说自己拿不准

回头看那几次，我最在意的其实是它的语气，或者说它没有语气。

点对的时候和点错的时候，它的每一步都一样干脆。人操作一个不熟的后台，拿不准会停一下，会多看一眼商品名，会回头问一句是不是这个。它不会。拿得准和拿不准，在它那里看不出区别。

所以光看过程，判断不了它这一次有没有走偏，只能等它做完，再去后台对结果。让它来点，本来是想省掉我盯着的那份工夫，结果盯着的工夫挪到了事后，还多了一份收拾。

这件事我打算跟研发提

这件事我打算跟研发提。

要提的不是 Agent 该怎么改，那是阿里的事。要提的是我们自己的后台。现在的撤回是给人偶尔手滑准备的，要一条条找，一项项对。人点错通常是手滑，自己马上知道；Agent 点错是认错了对象，而且认错以后会很自信地接着往下做，做完也不会说。

如果以后真要让它来点，后台可能得先改几处：确认之前把操作对象再明明白白亮一次，名字相近的给出区分，最近的改动能一步撤回，记录里标清楚是谁、用什么方式改的。

这几处，其实对人也有用。只是人点错的次数少，一直没排上。

Agent 该变得更准，这是一方面。但第一件要改的，不一定是它。