本地优先的 AI 推理：一种用于经济高效文档处理的云架构模式 (opens in new tab)

📌 One-Sentence Summary 本文介绍了本地优先的 AI 推理模式，这是一种三层混合架构，通过将大部分文档交由确定性本地提取处理，仅在边缘场景使用云端 AI，并辅以人工审核来限定错误率，从而将云端 AI 成本降低 75%。 📝 Summary 本文介绍了一种名为“本地优先的 AI 推理”的可复用云架构模式，旨在实现经济高效的文档处理。其核心洞见在于，最重要的架构决策不是选择哪个模型，而是何时才需要调用模型。该模式采用三层架构：第一层使用确定性本地提取（PyMuPDF）处理 70-80% 的文档，API 成本为零；第二层将剩余的 20-30% 文档发送至云端 AI（Azure OpenAI GPT-4 Vision）；第三层将约 5% 的结果冲突或低置信度的文档交由人工审核。该架构的关键组件是一个置信度评分函数，它综合空间位置、锚点邻近度、格式符合度及上下文信号，来决定是将文档直接输出、发送至云端验证，还是进行完整的云端提取。作者在 Azure 上针对工程图纸 PDF 部署了此模式，将 API 成本从 47 美元降至 10-15 美元，处理时间从 100 分钟缩短至...