Milvus 2.0 GA專為AI打造的云原生向量數(shù)據(jù)庫

寧貞韻

近日，獲得AI開發(fā)者廣泛關(guān)注的AI神鳥項(xiàng)目Milvus向量數(shù)據(jù)庫，正式宣布2.0版本的GA。全新的Milvus向量數(shù)據(jù)庫具備支持大規(guī)模生產(chǎn)環(huán)境的能力，幫助開發(fā)者在構(gòu)建深度學(xué)習(xí)、機(jī)器視覺、語義學(xué)習(xí)等大規(guī)模系統(tǒng)時(shí)，能夠快速搭建起高可靠、高性能、高檢索效率、運(yùn)維管理友好的向量數(shù)據(jù)（Embedding Vctor）處理平臺(tái)。

“這不是一次簡單的版本升級(jí)，而是一次全面重構(gòu)，也是我們過去三年在向量數(shù)據(jù)庫領(lǐng)域探索之后的集大成之作。在經(jīng)過對(duì)架構(gòu)進(jìn)行全面重新設(shè)計(jì)以及9個(gè)RC版本的迭代后，我們正式宣布Milvus 2.0的GA。Milvus的用戶將由此能夠獲得生產(chǎn)級(jí)可用的開源向量數(shù)據(jù)庫系統(tǒng)，它可以部署在任意云基礎(chǔ)設(shè)施上，使用更加便利，性能更加強(qiáng)大，整體成本也更為優(yōu)化。”Milvus工程總監(jiān)欒小凡如此描述此GA對(duì)Milvus項(xiàng)目的意義。

“我們?cè)诘?9個(gè)版本后發(fā)布了Milvus的1.0版本，并獲得了全球近1 000家用戶的實(shí)踐驗(yàn)證。但我們依然看到了它的很多局限性，比如實(shí)時(shí)性與效率的沖突，成本的高昂，可擴(kuò)展性和彈性的不足，于是我們開始了2.0版本的重構(gòu)。”欒小凡提及的這些局限，充分說明目前AI系統(tǒng)開發(fā)者在面對(duì)生產(chǎn)落地時(shí)，在算法和模型之外，也同樣面臨以下更為切實(shí)的權(quán)衡：

非結(jié)構(gòu)化數(shù)據(jù)相比傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)，已占據(jù)壓倒性地位；

數(shù)據(jù)新鮮度非常重要，數(shù)據(jù)科學(xué)家們更希望能夠擁有實(shí)時(shí)處理能力，而非忍受對(duì)T+1的妥協(xié)；

面對(duì)生產(chǎn)實(shí)踐環(huán)境，數(shù)據(jù)處理的成本和性能更加重要，但現(xiàn)有的方案卻仍然與需求存在距離；

數(shù)據(jù)平臺(tái)能夠自如的部署在各種云基礎(chǔ)設(shè)施之上，全面云原生化勢在必行。

的確，隨著AI應(yīng)用的大規(guī)模快速普及，一套AI系統(tǒng)需要應(yīng)對(duì)的業(yè)務(wù)數(shù)據(jù)量呈幾何級(jí)數(shù)增長。其中以圖形、視頻、音頻為代表的非結(jié)構(gòu)化數(shù)據(jù)為主。目前業(yè)務(wù)處理這類非結(jié)構(gòu)化數(shù)據(jù)的主流的做法是將數(shù)據(jù)通過算法先轉(zhuǎn)化成向量，之后通過向量數(shù)據(jù)庫平臺(tái)進(jìn)行向量近似性搜索，以實(shí)現(xiàn)對(duì)這些數(shù)據(jù)的搜索查詢等需求。在最近的人工智能頂會(huì)NeurIPS上，Google、Facebook及Microsoft的AI團(tuán)隊(duì)向業(yè)界公開了數(shù)個(gè)全新的10億級(jí)向量數(shù)據(jù)包，而這些數(shù)據(jù)全部基于真實(shí)的業(yè)務(wù)場景產(chǎn)生。

面對(duì)這些這些真正意義上的“大規(guī)模”并且仍在高速增長的海量數(shù)據(jù)，是否有更好的向量數(shù)據(jù)庫解決方案，能在更高的效率、更好的成本收益比、更穩(wěn)定可靠的平臺(tái)支持以及更方便的運(yùn)維管理之間取舍均衡，是業(yè)界的焦點(diǎn)。

Milvus 2.0正是為應(yīng)對(duì)這種大規(guī)模生產(chǎn)級(jí)場景而設(shè)計(jì)的向量數(shù)據(jù)庫系統(tǒng)，綜合考慮了架構(gòu)穩(wěn)定性、工程可靠性、性能、成本、功能以及用戶體驗(yàn)等多種因素，并全面擁抱云原生技術(shù)。

Milvus 2.0圍繞3個(gè)理念，重新定義了新一代云原生向量數(shù)據(jù)庫。

云原生優(yōu)先：存儲(chǔ)計(jì)算分離的架構(gòu)更能發(fā)揮云的彈性，以實(shí)現(xiàn)按需擴(kuò)容的模式。而Milvus 2.0采取了讀寫分離、實(shí)時(shí)離線分離、計(jì)算瓶頸/內(nèi)存瓶頸/IO瓶頸分離的微服務(wù)化設(shè)計(jì)模式，這有助于面對(duì)復(fù)雜的工作負(fù)載選擇最佳的資源配比。

日志即數(shù)據(jù)：Milvus 2.0引入消息存儲(chǔ)作為系統(tǒng)的骨架，數(shù)據(jù)的插入修改只通過消息存儲(chǔ)交互，執(zhí)行節(jié)點(diǎn)通過訂閱消息流來執(zhí)行數(shù)據(jù)庫的增刪改查操作。這一設(shè)計(jì)的優(yōu)勢在于降低了系統(tǒng)的復(fù)雜度，將數(shù)據(jù)庫關(guān)鍵的持久化和閃回等能力都；另一方面，日志訂閱機(jī)制提供了極大的靈活性，為系統(tǒng)未來的拓展奠定了基礎(chǔ)。

批流一體：Milvus 2.0實(shí)現(xiàn)了unified Lambda流式處理架構(gòu)，增量數(shù)據(jù)和離線數(shù)據(jù)一體化處理。相比Kappa架構(gòu)，Milvus引入對(duì)日志流的批量計(jì)算將日志快照和構(gòu)建索引存入對(duì)象存儲(chǔ)，大大提高了故障恢復(fù)速度和查詢效率。為了將無界的流式數(shù)據(jù)拆分成有界的窗口，Milvus采用watermark機(jī)制，通過寫入時(shí)間（也可以是事件發(fā)生時(shí)間）將數(shù)據(jù)切分為多個(gè)小的處理單元，并維護(hù)了一條時(shí)間軸便于用戶基于某個(gè)時(shí)間點(diǎn)進(jìn)行查詢。

基于上述的理念及架構(gòu)設(shè)計(jì)，Milvus 2.0可以支持：百億規(guī)模的向量數(shù)據(jù)擴(kuò)展能力，增量數(shù)據(jù)毫秒級(jí)實(shí)時(shí)可見的數(shù)據(jù)可見性，存儲(chǔ)計(jì)算的秒級(jí)擴(kuò)縮容能力，10 mm級(jí)查詢延時(shí)性能，分鐘級(jí)的故障恢復(fù)能力，動(dòng)態(tài)負(fù)載均衡能力；提供完善的面向向量數(shù)據(jù)的增刪改查功能，數(shù)據(jù)壓縮壓縮功能，動(dòng)態(tài)加載索引功能、圖形化GUI及命令行管理工具，提供PyMilvus，Node.js，Java and Go等多語言語言SDK。目前，Milvus 2.0無論在性能、功能、穩(wěn)定性、可擴(kuò)展性及易用性方面，均到達(dá)業(yè)界領(lǐng)先水平，重新定義了向量數(shù)據(jù)庫的標(biāo)桿。

“基于大數(shù)據(jù)+ AI的應(yīng)用架構(gòu)依然過于復(fù)雜，簡化非結(jié)構(gòu)化數(shù)據(jù)處理一直是Milvus社區(qū)努力的方向。”談及Milvus項(xiàng)目未來的發(fā)展路線圖時(shí)，欒小凡這樣表示。接下來Milvus項(xiàng)目會(huì)重點(diǎn)關(guān)注以下幾個(gè)方向：

DB for AI：作為一款數(shù)據(jù)庫，除了基本的CRUD功能之外，Milvus必然還需要更強(qiáng)大的數(shù)據(jù)查詢能力、更智能的查詢優(yōu)化器、更全的數(shù)據(jù)管理功能等。下一階段將重點(diǎn)補(bǔ)齊Milvus 2.0目前還不支持的DML功能和數(shù)據(jù)類型，比如刪除、更新操作和支持string數(shù)據(jù)類型。

AI for DB：向量索引類型、索引參數(shù)、用戶工作負(fù)載、硬件類型、成本性能等的約束構(gòu)成了一個(gè)非常龐大的tradeoff，盡可能避免手動(dòng)調(diào)優(yōu)有助于降低使用復(fù)雜度。我們已經(jīng)著手分析系統(tǒng)負(fù)載，收集訪問熱度的數(shù)據(jù)，后續(xù)將引入自動(dòng)參數(shù)調(diào)優(yōu)工作以降低用戶的理解成本。

成本優(yōu)化：向量召回的最大挑戰(zhàn)是需要在限定時(shí)間內(nèi)處理海量數(shù)據(jù)，這項(xiàng)工作既是計(jì)算密集型，也是訪存密集型。在物理執(zhí)行層引入GPU、FPGA等異構(gòu)硬件加速可以大幅降低CPU開銷。正在開發(fā)磁盤內(nèi)存混合的ANN索引算法，可以在有限的內(nèi)存下實(shí)現(xiàn)海量向量的高性能查詢。于此同時(shí)，我們也在評(píng)估開源的ScaNN、NGT等向量索引算法的性能。

易用性：Milvus易用性的提升體現(xiàn)在集群管理工具、多語言SDK、部署工具、運(yùn)維工具等許多方面，Milvus將在這些方向持續(xù)迭代完善。同時(shí)，Milvus的設(shè)計(jì)理念是可以在任何平臺(tái)運(yùn)行，在接下來的幾個(gè)版本更新中，Milvus將支持MacOS系統(tǒng)（M1芯片及x86芯片）以及ARM架構(gòu)。