Elasticsearch 9.1至9.3版本通过BBQ量化、ACORN过滤、DiskBBQ和GPU索引显著优化矢量搜索：内存降95%、过滤速度提5倍、亿级向量下延迟
六个月内发布的三个版本改变了Elasticsearch的成本和功能配置。版本9.1至9.3默认版本推出了BBQ量化,使 ES|QL
生产完全准备就绪,通过收购构建了原生推理层,并直接在基巴纳引入了代理自动化。这四个线程中的每一个都是具体的——而非方向性的。本文介绍了实际落地的内容以及它对运行这些工作负载的团队意味着什么。
Elasticsearch 矢量搜索:95% 低内存,DiskBBQ GA
运行大量矢量索引的内存成本已下降。烧烤量化成为新版9.1的默认值dense_vector指数,在 float32 上将堆需求削减超过 95%(Elastic 9.1)。这直接转化为更小的数据节点和更低的集群成本。排除因内存配置而导致的密集矢量工作负载的团队现在有不同的数据可供配合使用。
默认更改比更改日志所暗示的更为重要。以前,选择量化需要明确的配置和有记录的精确权衡。现在,新索引默认是高效的,但现在任何在9.1之前编写的、假设float32的集群模板或配置脚本都是错误的。如果使用现有的自动化功能,请在扩展之前明确检查索引设置。
有关推理端点设置和嵌入模型选择,请参阅 Elasticsearch 即 AI 平台。
ACORN 过滤搜索
ACORN,GA 在 9.1 中修复了特定的检索问题。过滤后的kNN查询,可在高度选择性的筛选下回流至暴力扫描。ACORN 将过滤直接集成到 HNSW 图遍历中,可实现高达 5 倍的过滤矢量搜索速度,包括针对 OpenSearch 的等效数据(Elastic 9.1)。包含租户隔离、测距离筛选或类别约束的工作负载将获得最大收益。
讯飞绘文
讯飞绘文：免费AI写作/AI生成文章
下载
DiskBBQ — 100 MB 内存下的 Sub-20ms
DiskBBQ 以 9.2 秒达到 GA。它从磁盘读取量子化向量,而不是将它们固定成堆。结果:无论索引大小大小,Elastic 9.2总内存占用率均为20ms以下。目标工作负载是数亿个向量,其中每行成本比绝对最小延迟更重要。在这种规模下,内存配置不再是容量限制。
GPU矢量索引(技术预览版,9.3)
采用 NVIDIA cuVS 技术,GPU 加速的 HNSW 指数构建技术预览版达到了 9.3 项。Elastic 的基准测试显示,与 CPU 构建相比,其索引吞吐量为 12 倍,且 stre-merges 速度更快(GPU 矢量索引)。要求有特定要求:NVIDIA Ampere 架构(计算能力 ≥ 8.0)、8 GB 最小 GPU 内存、Linux x86_64、企业级许可证。一个旗帜使其具备:
vectors.indexing.use_gpu: true
这还没有生产准备。GA 已列入路线图。使用场景是大批量摄取,其中索引构建时间是瓶颈,并且您希望为实时查询流量释放 CPU。
