隨著LLM技術(shù)應(yīng)用及落地，數(shù)據(jù)庫需要提高向量分析以及AI支持能力，向量數(shù)據(jù)庫及向量檢索等能力“異軍突起”，迎來業(yè)界持續(xù)不斷關(guān)注。簡單來說，向量檢索技術(shù)以及向量數(shù)據(jù)庫能為 LLM 提供外置的記憶單元，通過提供與問題及歷史答案相關(guān)聯(lián)的內(nèi)容，協(xié)助 LLM 返回更準(zhǔn)確的答案。
不僅僅是LLM，向量檢索與OLAP引擎也早有淵源。作為一種用于數(shù)據(jù)分析的軟件，OLAP能夠快速、高效處理大量數(shù)據(jù)，并提供多維度的分析功能，而向量檢索則能幫助OLAP引擎進(jìn)一步提升對非結(jié)構(gòu)化數(shù)據(jù)的分析和檢索能力。
近期，火山引擎云原生數(shù)據(jù)倉庫ByteHouse推出高性能向量檢索功能，通過支持多種向量檢索算法以及高效的執(zhí)行鏈路，可以支撐極大規(guī)模向量檢索場景，并達(dá)到毫秒級的查詢延遲。
ByteHouse團(tuán)隊早已關(guān)注并研究向量檢索技術(shù)。據(jù)ByteHouse技術(shù)專家介紹，“當(dāng)前向量數(shù)據(jù)庫的發(fā)展主要是兩種思路，一種是建設(shè)一個專用的向量數(shù)據(jù)庫，基于Vector-centric 的思路來設(shè)計向量數(shù)據(jù)及索引的存儲與資源管理策略，查詢定式簡單，支持?jǐn)?shù)據(jù)類型有限;另一種是基于現(xiàn)有數(shù)據(jù)庫擴(kuò)展向量檢索能力，在已有數(shù)據(jù)管理機(jī)制以及查詢執(zhí)行鏈路中去添加向量索引維護(hù)與查詢執(zhí)行邏輯。目前，兩種思路互相借鑒，向完備數(shù)據(jù)庫功能支持+高性能向量檢索的方式發(fā)展?！?/p>
ByteHouse來源于ClickHouse，但ClickHouse存在向量索引重復(fù)讀取，相似度計算冗余等問題，對于延遲要求低、并發(fā)需求高的向量檢索場景可用性較弱。
基于以上的分析，ByteHouse 在向量檢索能力上進(jìn)行全面創(chuàng)新。 基于 vector-centric 的思路，ByteHouse 重新構(gòu)建了高效的向量檢索執(zhí)行鏈路，結(jié)合索引緩存、存儲層過濾等機(jī)制，使得性能實現(xiàn)進(jìn)一步突破。為了應(yīng)對不同使用場景，ByteHouse 支持了 HNSW、Flat、IVFFlat、IVFPQ 等多種常見向量索引算法。此外，新引入的向量索引支持當(dāng)前的二級索引相關(guān)語義，新的執(zhí)行鏈路也對現(xiàn)有距離函數(shù)進(jìn)行了適配，以降低用戶使用門檻和學(xué)習(xí)成本，用戶可以直接用 ClickHouse 的現(xiàn)有語義來使用高性能的向量檢索功能。
ByteHouse向量檢索相關(guān)組件
在建設(shè)高性能向量檢索能力過程中，ByteHouse主要克服以下三大難點：
列存結(jié)構(gòu)讀放大問題。為了減少不必要的數(shù)據(jù)讀取操作，ByteHouse在 query 執(zhí)行及數(shù)據(jù)讀取層都進(jìn)行了相應(yīng)優(yōu)化，并由 HaMergeTree 以及 HaUniqueMergeTree 兩種引擎的可靠方案為向量檢索提供穩(wěn)定性保障。其次，新寫入數(shù)據(jù)以及服務(wù)重啟會存在冷讀的問題，導(dǎo)致性能波動。為此，ByteHouse 引入 preload 機(jī)制，索引構(gòu)建后自動載入緩存，同時支持對過期索引自動淘汰，避免多余的資源占用。由于索引構(gòu)建會消耗較多的資源，為了降低構(gòu)建操作對正常查詢的性能影響，ByteHouse引入資源控制策略，允許用戶基于使用場景動態(tài)控制索引構(gòu)建使用的資源，極大減少了原有鏈路的開銷。
基于開源軟件VectorDBBench ，與 milvus 2.3.0 進(jìn)行測評
(測試環(huán)境：1 node, 80 cores, 376 GB Memory)
在最終性能效果上，ByteHouse團(tuán)隊基于業(yè)界最新的 VectorDBBench 測試工具進(jìn)行測試，在 cohere 1M 標(biāo)準(zhǔn)測試數(shù)據(jù)集上，recall 98 的情況下，可以達(dá)到與專用向量數(shù)據(jù)庫相近的性能。在 recall 95 以上的情況下，QPS 可以達(dá)到 2600 以上，p99 時延在 15ms 左右，具備業(yè)界領(lǐng)先優(yōu)勢。
性能優(yōu)化一直是ByteHouse核心探索方向之一，以滿足不斷增長的數(shù)據(jù)處理和分析需求。不僅僅是向量檢索技術(shù)，通過持續(xù)的研發(fā)和創(chuàng)新，ByteHouse還在查詢分析、數(shù)據(jù)導(dǎo)入等多個方面極致優(yōu)化，取得了顯著的性能提升，在降本增效基礎(chǔ)上，持續(xù)幫助企業(yè)更好地在數(shù)據(jù)驅(qū)動下實現(xiàn)加速決策效率。
