Airtable 如何为 AI 功能构建搜索层 (opens in new tab)

📌 One-Sentence Summary Airtable 工程团队通过选择 Milvus 并采用每库分区、HNSW 索引和冷热数据策略，为其 AI 功能构建了语义搜索层，这一切都源于一个观察：在任何一周内，75% 的客户数据库都处于空闲状态。 📝 Summary 本文详细介绍了 Airtable 的数据基础设施团队如何设计和扩展为其 AI 功能（Omni 和关联记录推荐）提供支持的向量搜索系统。核心挑战是实现对数十万个客户创建的数据库（bases）进行自然语言查询，而每个数据库可能包含数十万行数据。该团队的架构设计受到四个关键约束的影响：查询延迟低于 500 毫秒、高吞吐量写入、水平可扩展性以及为保护数据隐私而采用自托管方案。在评估了多种方案后，他们选择了 Milvus，因为它支持自托管和多租户。他们关键的分区决策是为每个数据库使用一个分区以实现强隔离，这导致他们采用了分层上限策略（每个集群 400 个集合，每个集合 1，000 个分区）来管理 Milvus 的性能限制。在索引方面，他们对 HNSW、IVF-SQ8 和 DiskANN 进行了基准测试，最终选择了 HNSW，...