可用率卡在 50%,我想拆品类,算法想加数据
Smart Photo 的可用率从 30% 做到 50% 以后,停了三四周。我把失败图按服装、3C、家居、家纺分开看,问题各不一样,想拆品类训练;算法同事认为一个模型能学会,倾向继续加数据。讨论了两三次,让我下决心的是先在一个品类上小试。依据有了,犹豫没少。

Smart Photo 的可用率从 30% 做到 50% 以后,停住了。
停了三四周
写这篇的时候,50% 已经停了三四周。
三四周不算长。可对一个前面一直在涨的数来说,停三四周,就不太像是在喘口气了。前面从 30% 往上走,每一轮调整都能看到一点变化;到了 50%,调整还在做,数字不动了。
一个数停住,有两种可能。一种是方法还对,只是需要更多的量;另一种是方法到头了,再加量也只是在原地打转。这两种,从数字上看是一样的。
失败图分开看
最近看失败图片,越来越觉得按品类拆开值得试。服装的褶皱和 3C 的金属质感,出问题的地方不一样,放在一起只说效果不够好,太笼统。算法同事原先倾向继续加数据。我把图片按服装、3C、家居、家纺分了类,再拿去讨论,至少有了比“我觉得这样更好”具体一点的东西。
四个品类,坏法不一样
把失败图按品类分开以后,最明显的感受是,同样叫失败,坏法完全不一样。
服装坏在褶皱和版型上,衣服的形状被改了;3C 坏在金属和反光上,质感不像原来的东西。家居和家纺,又各有各的问题。
放在一起算,这些差别都被压成了一个 50%。可一个 50%,可能是每个品类都在一半左右,也可能是有的品类已经不错、有的还差得远。假如是后一种,继续往一个模型里加数据,好的品类未必更好,差的品类也未必被照顾到。
这是我想拆开的最直接的理由。不先分开看,连问题出在哪都说不清。
数字只告诉我没动,失败图才告诉我哪里没动。
算法同事的理由
算法同事倾向继续加数据,理由是一个模型能学会。
这个理由不是没道理。模型的能力够,数据给得够全,服装的褶皱和 3C 的金属质感,放在一个模型里,也未必学不会。拆成几个模型,训练要多几份,维护要多几份,以后每加一个品类,还要再多一份。一个模型能解决的事,拆开做,是给自己找麻烦。
这个理由我能理解。可看着那些失败图,我心里总觉得,不同品类坏的地方差得太远,一个模型要同时顾着这么多种坏法,会不会哪种都顾不好。
这件事我们讨论了两三次。每一次都比上一次具体一点,分歧却没有消失,只是说得越来越清楚:他们相信量,我相信分开。谁也拿不出能让对方立刻改主意的东西。
依据有了,犹豫没少
可真要换方向,还是会犹豫。
不是拿不出理由,是那些理由还没法保证改完一定有用。按品类做,训练、维护都要多花时间。写在方案里是一项成本,实际做的是一起工作的同事。万一多做了一轮,效果还是没上去呢?我提这个方向,总不能最后说一句当时也有依据,就把这件事放过去。
所以会想再看一点,再确认一点。我不是算法出身,看出的差别能不能在技术上解释,有没有漏掉什么,还得跟算法同事聊。讨论以后思路会清楚一些,但不会突然就有十足把握。
有时候也觉得,再看下去可能还是这些东西了。图片里的差别已经摆出来,继续补数据是一条路,分开训练也是一条路,剩下的要试才知道。可让大家开始试,本身就在花时间。
以前以为有数据支撑,决定会好作一点。现在觉得,它更多是让我能说清楚为什么选这个,不是选完以后就不用担心。心里没底和手上没依据,是两回事。
等结果出来再讲,每一步都很好解释。好了,就像原先分析已经指向这里;不好,又会觉得当初想错了。但现在作选择,没有后面那段可以看。
理由越想越清楚,要开口让大家多做一轮,却没有因此变得更容易。
我怕的是什么
说到底,我犹豫的不全是方向,还有别人的时间。
拆品类要多做的训练、多维护的模型,落在算法同事身上。我提这个方向,要是没效果,搭进去的是他们几周的工作。产品经理提一个方向,自己不用去训练,正因为这样,提的时候更不能轻飘飘。
这份顾虑没法靠更多的分析消掉。分析做得再细,也替不了真正训一次。
先在一个品类上小试
让我自己下决心的,不是说服了谁,是想到了一个更小的做法:先在一个品类上小试。
不一下子拆成服装、3C、家居、家纺四个,先挑一个品类单独训一版,和现在的通用版本放在一起比。效果好,再往下拆;效果不好,损失的只是一个品类的一轮训练,不是整个方向。
挑哪个品类先试,也要想。挑问题最明显的,差别容易看出来;挑量最大的,试成了收益最直接。两种挑法,各有各的道理,要和算法同事一起定。
这个做法没有解决犹豫,只是把犹豫的代价变小了。选错的成本,从一整个方向,变成了一个品类的一轮尝试。代价小到一定程度,就可以先试,不用等想清楚。
它也让和算法同事的分歧,有了一个能落地的出口。不用在会议室里争谁对,拿一个品类的结果来看。
结果出来之前
小试的结果要等。等的这段时间,最容易做的,是提前替结果找解释。
好了,就说当初分析得对;不好,就说品类挑得不对,或者数据还不够。这两种解释都现成,都说得通,也都没什么用。
所以在结果出来之前,我想先写下来:什么样的结果算小试成功,什么样的算失败。写在前面,结果出来的时候,就不用再找理由。
我还是倾向推分品类。不是想证明自己坚持得对,只是这些差别已经看到了,不想再把它们混在一个问题里。先跟同事把理由和要多做的工作说清楚,再往前试。拿不准的部分,带着。