为运行超大规模语言模型构建基础 (opens in new tab)

📌 One-Sentence Summary 本文详细介绍了 Cloudflare 在 Workers AI 平台上托管和优化超大规模语言模型（如 Kimi K2.5）推理的工程策略，重点包括硬件解耦、KV 缓存优化、推测解码及其专有的 Infire 引擎。 📝 Summary Cloudflare 深入探讨了在其 Workers AI 平台上高效托管和服务超大规模语言模型（例如 Kimi K2.5）所需的基础工程。文章解释了如何平衡软件和昂贵的硬件，重点关注以长输入上下文为特征的智能体用例。关键优化包括：将计算密集的预填充阶段与内存密集的解码阶段解耦，以减少延迟；通过会话亲和性进行提示缓存，以减少重复计算；以及使用 Moonshot AI 的 Mooncake 引擎进行 KV 缓存优化，实现多 GPU 共享。文章还涵盖了应用 NVIDIA 的 EAGLE-3 草稿模型进行推测解码，以加速工具调用等结构化输出的生成。其解决方案的核心是 Infire，这是一个专为 Cloudflare 分布式网络构建的、基于 Rust 的专有推理引擎，具有多 GPU 支持（流水线/张量并行）、极低...