散文網(wǎng) » 生活 »日常 » milvus - 下一代 AI 應(yīng)用存儲(chǔ)系統(tǒng)，云原生向量數(shù)據(jù)庫

milvus - 下一代 AI 應(yīng)用存儲(chǔ)系統(tǒng)，云原生向量數(shù)據(jù)庫

2023-09-17 00:24 作者:GitHub精選 0人讀過 | 我要投稿

大家好，又見面了，我是 GitHub 精選君！

背景介紹

ChatGPT 再一次引爆人工智能，而對于人工智能處理的非結(jié)構(gòu)數(shù)據(jù)來說，能夠?qū)⒎墙Y(jié)構(gòu)的數(shù)據(jù)進(jìn)行向量化的存儲(chǔ)，有利于后續(xù)的 AI 算法的使用。

用專業(yè)一點(diǎn)術(shù)語就是，在處理嵌入式相似性搜索和人工智能應(yīng)用時(shí)，我們常常遇到一些問題。首先，對于非結(jié)構(gòu)化數(shù)據(jù)的搜索并不容易，而且在不同的部署環(huán)境下使用體驗(yàn)也不一致。其次，存儲(chǔ)和計(jì)算之間的耦合限制了系統(tǒng)的彈性和靈活性。針對這些問題，我們推薦一個(gè)解決方案：Milvus。

Milvus 項(xiàng)目在 GitHub 有超過 20.6k Star，用一句話介紹該項(xiàng)目就是：“A cloud-native vector database, storage for next generation AI applications”。

項(xiàng)目介紹

Milvus 是一個(gè)面向下一代人工智能應(yīng)用的云原生向量數(shù)據(jù)庫和存儲(chǔ)系統(tǒng)。它通過提供快速的嵌入式相似性搜索功能，使非結(jié)構(gòu)化數(shù)據(jù)搜索更加便捷。Milvus 2.0 版本采用了存儲(chǔ)和計(jì)算分離的設(shè)計(jì)，所有組件都是無狀態(tài)的，以增強(qiáng)彈性和靈活性。詳細(xì)的架構(gòu)細(xì)節(jié)請參考 Milvus 架構(gòu)概述（https://milvus.io/docs/architecture_overview.md）。Milvus于2019年10月以[開源Apache許可證2.0](https://github.com/milvus-io/milvus/blob/master/LICENSE)發(fā)布，并且目前是[LF AI & Data Foundation](https://lfaidata.foundation/)的畢業(yè)項(xiàng)目。

Milvus 的主要特點(diǎn)包括：

??兆向量數(shù)據(jù)集的毫秒級搜索：在兆向量數(shù)據(jù)集上平均延遲僅為毫秒級。
??簡化的非結(jié)構(gòu)化數(shù)據(jù)管理：針對數(shù)據(jù)科學(xué)工作流程設(shè)計(jì)了豐富的API，無論是在筆記本電腦、本地集群還是云端，都提供一致的用戶體驗(yàn)。可以將實(shí)時(shí)搜索和分析集成到幾乎任何應(yīng)用中。
??可靠的全時(shí)段向量數(shù)據(jù)庫：Milvus內(nèi)置了復(fù)制和故障切換/切換回功能，確保數(shù)據(jù)和應(yīng)用在發(fā)生中斷時(shí)能夠保持業(yè)務(wù)連續(xù)性。
??高度可擴(kuò)展和彈性：組件級的可擴(kuò)展性使得根據(jù)需求進(jìn)行動(dòng)態(tài)擴(kuò)縮容成為可能。Milvus可以根據(jù)負(fù)載類型進(jìn)行組件級的自動(dòng)擴(kuò)縮容，提高資源調(diào)度效率。
??混合搜索：除了向量數(shù)據(jù)，Milvus還支持布爾值、整數(shù)、浮點(diǎn)數(shù)等數(shù)據(jù)類型。Milvus的集合可以包含多個(gè)字段，以適應(yīng)不同的數(shù)據(jù)特征或?qū)傩?。Milvus將標(biāo)量過濾與強(qiáng)大的向量相似性搜索相結(jié)合，為分析非結(jié)構(gòu)化數(shù)據(jù)提供現(xiàn)代化、靈活的平臺。

以下是 Milvus 的一些使用案例。

1、圖片搜素