全閃存儲已經(jīng)成為當前存儲的新貴，從存儲架構的演變角度，軟件定義的分布式存儲系統(tǒng)替代傳統(tǒng)控制器架構的磁盤陣列已是大勢所趨。采用分布式架構的全閃存儲系統(tǒng)能充分發(fā)揮閃存介質的性能，并構建具備云屬性的彈性基礎設施，是未來全閃存儲系統(tǒng)的發(fā)展方向。分布式存儲系統(tǒng)以其軟件定義模式以及高并發(fā)性能、彈性擴展能力和易維護性等特性受到越來越多客戶認可。

　　目前市場主流產品按實現(xiàn)方式可分為兩大類：一、以開源軟件為Ceph的存儲系統(tǒng)，二、廠商完全自主開發(fā)、針對塊存儲等場景設計的分布式存儲系統(tǒng)（如 ScaleFlash分布式塊存儲系統(tǒng)NVMatrix）。?本文介紹采用RDMA技術的ScaleFlash 分布式全閃塊存儲產品NVMatrix與Ceph優(yōu)化過的全閃塊存儲的性能對比。

　　測試目標與方法

　　本次測試使用的ScaleFlash 分布式塊存儲NVMatrix和優(yōu)化過的Ceph全閃分布式存儲產品都使用了全閃存儲介質，NVMatrix在所有工作負載測試中，實現(xiàn)的性能均大幅優(yōu)于Ceph。?實現(xiàn)性能大幅領先的底層技術是NVMatrix采用了全鏈路RDMA技術， RDMA是一種新的直接內存訪問技術，RDMA讓計算機可以直接存取其他計算機的內存，而不需要經(jīng)過處理器的處理。RDMA將數(shù)據(jù)從一個系統(tǒng)快速移動到遠程系統(tǒng)的內存中，而不對操作系統(tǒng)造成任何影響。在實現(xiàn)上，RDMA實際上是一種網(wǎng)卡與軟件架構充分優(yōu)化的遠端內存直接高速訪問技術，通過將RDMA協(xié)議固化于硬件(即網(wǎng)卡)上，以及支持Zero-copy和Kernel bypass這兩種途徑來達到其高性能的遠程直接數(shù)據(jù)存取的目標。 使用RDMA的優(yōu)勢如下：

　　零拷貝(Zero-copy) - 應用程序能夠直接執(zhí)行數(shù)據(jù)傳輸，在不涉及到網(wǎng)絡軟件棧的情況下。數(shù)據(jù)能夠被直接發(fā)送到緩沖區(qū)或者能夠直接從緩沖區(qū)里接收，而不需要被復制到網(wǎng)絡層。

　　內核旁路(Kernel bypass) - 應用程序可以直接在用戶態(tài)執(zhí)行數(shù)據(jù)傳輸，不需要在內核態(tài)與用戶態(tài)之間做上下文切換。

　　測試網(wǎng)絡拓撲：

　　測試環(huán)境信息：

　　計算節(jié)點 * 1 ：

　　● ?系統(tǒng)版本：Red Hat Enterprise Linux release 8.3

　　● ?內核版本：4.18.0-240.el8.x86_64

　　● ?CPU型號：Intel(R) Xeon(R) Gold 6348 CPU @ 2.60GHz ?* 2

　　● ?內存： 512 G ?

　　● ?RDMA網(wǎng)卡：Mellanox 100gb [ConnectX-6 Dx] * 1

　　存儲節(jié)點 * 3 ：

　　● 系統(tǒng)版本：CentOS Linux release 8.4

　　● 內核版本：4.18.0-305.25.1.el8_4.x86_64

　　● CPU型號：Intel(R) Xeon(R) Gold 6346 CPU @ 3.10GHz * 2 ??

　　● 內存： 512G

　　● NVMe ssd：INTEL P4510 * 8；

　　● RDMA網(wǎng)卡：Mellanox ?100gb [ConnectX-6 Dx] * 1

　　● RDMA分布式存儲軟件： ScaleFlash分布式存儲軟件(NVMatrix) v3.0?(雙副本數(shù)據(jù)保護）

比Ceph全閃存儲性能提高200倍IOPS

比Ceph全閃存儲性能提高200倍帶寬

比Ceph全閃存儲寫延遲降低35倍

　　北京極客天成科技有限公司以高通量分布式集群存儲為先鋒，圍繞軟件定義、智能化、安全可靠，全鏈路RDMA技術構建了完全自主可控的高通量分布式集群存儲產品線和解決方案，可為用戶的混合云數(shù)據(jù)中心提供創(chuàng)新和高效的存儲及數(shù)據(jù)管理方案。 極客天成以研發(fā)、推廣和銷售軟件定義存儲產品為主營業(yè)務，重點產品包括高通量分布式統(tǒng)一集群存儲系統(tǒng)，DPU云原生存儲，分布式全國產化存儲系統(tǒng)，分布式全閃存儲系統(tǒng), 超融合容器存儲等系統(tǒng)解決方案和技術服務。極客天成聚焦國產化細分戰(zhàn)略市場，圍繞軟件定義、全閃化、國產化產品戰(zhàn)略，打造完全自主可控的存儲產品線。