软件测试行业正处在围绕人工智能的狂热期。每个工具都给自己名字加上「AI」,承诺消除假阳性、降低维护成本,并把 QA 变成自主流程。Applitools 押注其「Visual AI」,Meticulous 从真实会话生成测试,TestIM(Tricentis)用机器学习稳定测试。
这个问题值得超越意见的回答:AI 对于界面视觉测试真的可靠吗? 本文以指名的同行评审研究作答——而答案比口号更微妙。一切取决于哪种 AI:有三种,对应三种不同的结论。
厌倦了搞不清工具里的「AI」检测的是真变更还是噪声? Delta-QA 基于一个按人眼感知校准的确定性引擎:结果可复现,在本地运行且无需注册。免费使用 Delta-QA →
要点
- 「AI」涵盖三种差异极大的技术:LLM/VLM 智能体、作为裁判(oracle)的 ML,以及感知 diff(Applitools)。把它们混为一谈就是错的。
- 要像素级地感知/操控 UI,LLM/VLM 智能体被测得远低于人类水平且不可复现(来源见下)。
- 习得的裁判并非逐位可复现——两次完全相同的训练会发散(ASE 2020)。在 QA 中,这是硬伤。
- 但对于感知 diff,AI 在贴合人眼感知上可以胜过原始像素(LPIPS, CVPR 2018)。断言「感知 AI 没用」是错误的。
- 所以真正的问题不是「AI 不管用」,而是它做出的是一个不可靠的自主裁判(非确定性、不透明)。因此:确定性优先,AI 作为补充。
不可混淆的三种「AI」
在任何数字之前,先把定义说清楚,因为「AI」一词混了三样东西:
- Visual GUI Testing(VGT)——用图像识别来定位/操控元素(Sikuli 风格)。
- LLM/VLM 智能体——感知一张截图并决策/行动的语言(或语言-视觉)模型。
- 感知式「Visual AI」——判断两张截图「在人看来是否相似」的模型(Applitools 的路线,或 SSIM/LPIPS 这类指标)。这是确定性视觉回归的直接竞争者。
「AI 不可靠」这一论点对 (1) 和 (2) 成立,而推广到 (3) 则是错的。来看证据。
研究怎么说
LLM/VLM 智能体:在 UI 的精细感知上失败
视觉测试需要像素级地定位并判断元素。但多模态模型在这点上大面积失败:
- ScreenSpot-Pro(Li et al., arXiv 2504.07981, 2025):在对界面元素的精细指向上,最佳模型止步于 18.9%;通用模型在小而高分辨率的目标上接近 0%。
- VisualWebArena(Koh et al., ACL 2024):GPT-4V 智能体在真实网页任务上成功率为 16.37%,而人类为 88.70%。在 WebArena(Zhou et al., ICLR 2024)上是 14.41% 对 78.24%。
- 不可复现性:「On Randomness in Agentic Evaluations」(Bjarnason, Silva, Monperrus, arXiv 2602.07150)测得 pass@1 的波动达 2.2 到 6.0 个百分点,即便在温度 0 时。因此 AI 的裁决在相同输入下也可能一次与下一次不同。
- 作为视觉缺陷裁判,一个多模态 LLM 被证明不稳定且嘈杂:Ju et al.(arXiv 2407.19053, 2024)的研究报告了约 89% 的假阳性率,以及真阳性在重跑时从 ~43.7% 跌到 ~1% (数字待在 PDF 中确认,但不稳定性和假阳性已被明确记录)。
作为裁判的 ML:不是逐位可复现
在智能体之外,仅仅学习裁判本身就带来可复现性问题。Pham et al., 「Problems and Opportunities in Training Deep Learning Software Systems」(ASE 2020, ACM SIGSOFT Distinguished Paper):同一模型两次完全相同的训练可能发散多达 10.8% 的准确率(accuracy)。一个结果无法保证完全一致的质量标准,在 QA 中是无法依靠的标准。
图像识别(VGT):维护起来脆弱
由图像识别驱动的测试(Sikuli/JAutomate)被记录为脆弱:Coppola, Ardito & Torchiano(A-TEST 2019)测得视觉脚本比选择器方案脆弱约 50%(至少改动过一次的方法占 30% 对 20%);Garousi et al.(A-TEST 2017)报告约一半的测试用例在下一个版本里没有真实缺陷却破裂。(注意:这是用图像识别来*操控 UI——不是回归的感知 diff。别混淆。)*
AI 真正取胜的地方
止步于此并不完整。在感知 diff 上,AI 可以做得比原始像素更好:
- LPIPS(Zhang, Isola, Efros, Shechtman & Wang, CVPR 2018):习得的感知指标在贴合人类感知上胜过 PSNR 和 SSIM。所以「像素 = 好,AI = 坏」被驳倒。
- Owl Eyes(Liu, Chen et al., ASE 2020):一个 CNN 从截图中检测真实的显示缺陷,精确率 85% / 召回率 84%,并发现了 57 个真实缺陷。ML 能够识别视觉缺陷。
- GPTDroid(Liu, Chen et al., ICSE 2024):一个探索应用的 LLM 把活动覆盖率提升了 +32%,并在生产中发现了 53 个缺陷。AI 在探索与前置环节很有价值。
阶段性结论:不能把「AI 不可靠」当作一个普遍事实来说。 站得住脚的论点更精细——也更牢固。
营销背后的现实
现在把厂商的承诺与现场对照。
假阴性,没人谈的问题
厂商兜售的是假阳性的减少。真实情况:未经校准的逐像素比对会产生噪声(抗锯齿、亚像素、动画)。但当 AI 判定某处「不重要」时,它引入了假阴性——一个未被检测到的真实回归。而这更严重:假阳性花的是时间(去核对、去确认);假阴性花的是质量(回归进了生产)。当一个模型判定 16px→12px 的 padding「可忽略」时,这是一种笼统的价值判断——它不了解你的设计系统,而那里每一个 token 都重要。
黑箱效应
确定性算法是透明的:你知道它比的是什么,你调整阈值与排除区域,你保持掌控。模型是一个黑箱:当 Applitools Visual AI 判定某个变化「不重要」时,你不知道为什么,而「AI 决定它不重要」在客户、审计员或管理层面前不是可接受的解释。这正是关于非确定性的文献(上文)所具体化的论点。
营销数字——以及缺乏独立基准
Applitools 强调**「假阳性减少 99.5%」。这是一个销售**数字:据我们所知,没有任何独立的同行评审基准为这种专有「Visual AI」的 FP/FN 数字背书。把它当作一个承诺,而非证据。
成本
AI 不是免费的:定价复杂,年度账单常达数万欧元(Applitools),GPU/云推理。如果你的问题是假阳性,确定性的调整(阈值、排除区域、感知指标)就能以微不足道的成本消除其中大部分。
抛开「AI」营销话术,真正重要的是:发现真正的视觉变更 Delta-QA 以无代码方式比对你的前后界面,并把所有数据保留在本地——亲自验证这个承诺,无需注册。免费使用 Delta-QA →
确定性 对比 AI:一次基于事实的比较
确定性更擅长什么
- 可复现性。 十次运行,十个完全相同的结果。这恰恰是 ML 不保证的(Pham et al., ASE 2020)。
- 透明 / 可追溯。 每个结果都能向审计员解释——在受监管行业(金融科技、医疗、公共部门)中至关重要。
- 可控的彻底性。 任何高于阈值的变化都被标记,不带价值判断。
- 成本。 无需 GPU,无需高级 AI 许可。
AI 更擅长什么
- 动态内容(日期、价格、个性化):AI 学会忽略这些区域(也可用确定性排除来处理,代价是配置)。
- 跨浏览器渲染差异:可被模型容忍(或用按浏览器的基线)。
- 人类感知:习得的指标(LPIPS)有时比像素阈值更贴合人眼。
营销避而不谈的结构性局限
- 依赖第三方模型。 Applitools 更新它的模型;昨天通过的测试今天可能失败——或更糟,反过来——而你什么都没改。你的质量标准不再属于你。
- 训练偏差。 一个主要在西方界面上训练的模型,在 RTL(阿拉伯语、希伯来语)、CJK 或非常规模式上相关性更低。而算法的比对没有文化偏差。
- 自主的幻觉。 任何 AI 都需要监督:你转移了工作(「调阈值」→「监督一个模型」),并没有消除它。
假阳性的隐藏成本(以及狼来了综合征)
假阳性不是小麻烦。每条要分诊的告警都花时间;几周后,团队开始无视告警(「又一个假阳性」),而真有一个缺陷藏在里面那天,没人去看。这就是**「狼来了」综合征**:假阳性越多 = 被认真对待的真阳性越少。AI 掩盖噪声;一次在正确层级上精确的比对,则从源头消除它。
何时 AI 有意义——何时确定性取胜
AI 有意义:跨浏览器的超大体量、渲染噪声无法手工管理时;大量动态内容;有专门分诊团队足以justify企业级成本;以及最重要的——前置环节(探索、场景生成、改进算法)。
确定性取胜于确定性至上时:部署流水线(二元结果,而非「大概能过」)、需要理解到底改了什么、可审计的受监管行业、没有分诊资源的小团队(零假阳性 = 零浪费时间)。
我们的立场:确定性优先,AI 作为补充
对大多数团队而言,确定性方法是最好的起点。Delta-QA 在元素层级比对——它构建一棵视觉树,在两个版本之间匹配元素,并比对它们的截图(先 hash 再到叶子层级的像素)——这一切通过页面稳定化(冻结时钟、加载字体、冻结动画)而变得确定。实测结果:在 429 个已验证测试用例上 0 假阳性 / 0 假阴性。不是靠忽略差异——而是靠在需要的地方精确地测量需要测量的东西。
最健康的趋势不是把 AI 放进执行的回路里,而是把 AI 放在前置环节:分析海量案例来强化算法、辅助场景生成——并让一个确定性内核在裁决时刻拍板。这正是 Delta-QA 的理念:数据与研究强化一个本身保持完全可预测的算法。
常见问题
AI 用于界面视觉测试可靠吗?
取决于哪种 AI。对于感知/操控 UI 的 LLM/VLM 智能体,研究显示其表现远低于人类且裁决不可复现(ScreenSpot-Pro、VisualWebArena、WebArena)。对于感知 diff,AI 反而可以更贴合人眼(LPIPS)。基于事实的总结:AI 是一个不可靠的自主裁判(非确定性、不透明),而不是一项「没用的」技术。
AI 能消除假阳性吗?
它能减少假阳性,这有记录——但代价是把风险转移到假阴性。一个校准良好的确定性算法同样能减少假阳性,且没有这份额外风险。
Delta-QA 为什么不在回路里使用 AI?
为了可预测性和可解释性:每个结果都是确定且有记录的。AI 用于前置环节(研究、改进算法),而不是用来下裁决。
能把 AI 与确定性结合吗?
能:确定性用于关键测试(流水线),AI 用于大范围监控(数百个页面、跨浏览器)。两者互补——这甚至是最现实的未来。
Applitools Visual AI 值这个价吗?
对界面高度动态的大型机构,这笔投入可能是合理的。对需求标准的中型团队,成本收益比很少划算,而且没有任何独立基准为其营销数字背书。
准备好不靠黑箱来判断视觉变更了吗? 用 Delta-QA 运行一次确定且可复现的比对,对每一次裁决保持掌控,免费且无需注册。免费使用 Delta-QA →