当“正确”不再确定时，如何验证智能体行为 (opens in new tab)

📌 One-Sentence Summary 本文提出了一种新颖的自主 AI 智能体验证框架，该框架通过对执行轨迹进行支配者分析，将关键结果与偶然噪声区分开来，从而超越了脆弱的逐步测试方法。 📝 Summary 本文探讨了测试像 GitHub Copilot Coding Agent 这样的自主 AI 智能体时所面临的关键挑战：由于智能体行为具有非确定性和多路径特性，传统的验证方法会失效。作者提出了一个“信任层”框架，该框架将智能体执行过程建模为图（前缀树接收器），而非线性脚本。通过应用编译器理论中的支配者分析，该算法能够自动识别出每次成功运行都必须经过的“关键状态”，同时过滤掉诸如加载屏幕之类的“可选变化”。该算法仅需学习 2-10 条成功轨迹，利用三级等价检测系统（视觉哈希、SSIM 和 LLM 语义分析）来合并轨迹，并通过拓扑子序列匹配来验证新的执行过程。在一项使用 VS Code 扩展测试套件的控制实验中，支配树方法实现了 100% 的准确率，而智能体自我评估的准确率为 82.2%；在识别“非缺陷”场景方面，支配树方法的 F1 分数为 52.2%，而智能体自我评估为 0%...