构建 AI 采纳的评估体系：从原则到实践 (opens in new tab)

📌 One-Sentence Summary 本演讲指出，评估债务（即先进 AI 系统与过时评估基础设施之间的差距）是大规模产品悄然失败、用户信任逐渐侵蚀的根本原因。 📝 Summary Mallika Rao 结合她在 Twitter、Netflix 和 Walmart 构建搜索与个性化系统的经验，提出了“评估债务”这一概念。她将其定义为：当系统架构不断演进，而评估基础设施却停滞不前、固守精确率和召回率等传统指标时，差距的无声积累。演讲介绍了一个五层评估栈：模型正确性、基础设施稳健性、产品护栏、人类体验和系统影响。大多数组织只评估前两层，从而遗漏了语义相关性、用户信任和长期影响等关键失败点。两个详细的案例研究阐释了这一概念：Twitter 搜索中，优化基准指标（点击量）导致用户满意度下降，尽管仪表盘一片绿灯；Walmart 奖励系统中，一个 99.8% 准确率的返现系统因未预见的州级税务计算边界情况而失败。核心洞见在于：技术正确性不等于语义相关性，语义相关性不等于发现质量，发现质量不等于用户满意度，用户满意度不等于长期信任。每一次转换都需要一个新的评估层。演讲最后总结了恢复原则...