長(zhǎng)文+多圖警告！

如題，分享的是一個(gè)超強(qiáng)的NAS復(fù)合存儲(chǔ)方案。 該方案可在一個(gè)21.3升的小型nas機(jī)箱內(nèi)容納8個(gè)機(jī)械硬盤(pán)和十余個(gè)nvme閃存盤(pán)，且支持并幾乎跑滿25gbe高速網(wǎng)絡(luò)。

價(jià)格放到最頂：整機(jī)含50TB硬盤(pán)約1個(gè)w整

continue。。。

這段時(shí)間著手搭建有幾點(diǎn)：

1、今年洋lj硬件真便宜

2、618閃存價(jià)格大跳水，nvme ssd價(jià)格跌到逼近hdd，比ahci（sata）ssd更低，速度更快。

?so需要一個(gè)能放得下大量剁手買(mǎi)來(lái)的nvme盤(pán)的NAS方案，最好避免使用昂貴的asmedia/plx拆分芯片和nvme陣列卡，且要能支持按需擴(kuò)展（單盤(pán)擴(kuò)容）并保證安全性。

3、蘋(píng)果WWDC23發(fā)布了船新的apple silicon Mac pro，順利成章apple silicon官宣安排上了mellanox網(wǎng)卡（適配cx4-cx7）。arm Mac由于全系標(biāo)配雷電，用擴(kuò)展塢轉(zhuǎn)出PCIe*4即可蹭上Mac pro 的驅(qū)動(dòng)。

（Intel MAC盼了近十年都沒(méi)給mellanox驅(qū)動(dòng)…還記得上萬(wàn)rmb的atto 40gbe網(wǎng)卡嗎…)。到這個(gè)節(jié)點(diǎn)放出來(lái)，只能說(shuō)懂得都懂。

Mac若能用25g網(wǎng)絡(luò)連接到NAS，難不成Mac內(nèi)置黃金存儲(chǔ)就可以迎來(lái)解放， 再也不用給雷電盤(pán)交智商稅了。。。嗎？

4、新家入住解鎖了homelab存放位置，然后希望NAS同時(shí)能夠再跑一些extra load，如家庭影院、視頻轉(zhuǎn)碼、相冊(cè)備份識(shí)別、HA智能家居、娛樂(lè)串流，掛機(jī)下載等等。

5、樓主的電腦硬盤(pán)已滿，急需大容量安全高速的存儲(chǔ)陣列。

綜上五條，匯總后即極為迫切的需要一個(gè)性能強(qiáng)、功耗低、擴(kuò)展性好的虛擬化平臺(tái)。同時(shí)運(yùn)行hdd陣列和ssd陣列以及若干應(yīng)用。 ? 硬件選型過(guò)程中，因?yàn)橐活w漂洋過(guò)海而來(lái)的四舍五入不要錢(qián)的神秘7d12，所以選擇了epyc霄龍作為虛擬化平臺(tái)。 ?接下來(lái)，我將詳細(xì)介紹硬件選擇、安裝過(guò)程、系統(tǒng)設(shè)置和性能測(cè)試。

1??硬件選型

CPU

大船貨AMD EPYC 7D12，屬OEM定制 ZEN2 Rome羅馬系列。與銳龍3000系同源的Starship/Matisse架構(gòu)，32核心64線程128兆L3。主頻不高1.8-2.0ghz，但功耗極低，雙烤最大83w。且pcie通道多達(dá)128條。很契合需求。

?瘦死的駱駝比馬大，32c@2.0ghz也能輕松cpuz過(guò)萬(wàn)，用銳龍8核的功耗換來(lái)16核的性能，香～ ? 這款CPU在閑魚(yú)上可以拿到600元左右的價(jià)格。直接買(mǎi)三通道殘廢版也許可以砍到500

機(jī)箱

機(jī)箱這個(gè)很重要，提到前面說(shuō)。

首先由于lz的homelab存放地——儲(chǔ)藏柜深度只有600mm，所以沒(méi)法撿各路便宜大碗的2U/4U準(zhǔn)系統(tǒng)； 這就將視野放在了小體積8盤(pán)位的nas專(zhuān)用機(jī)箱上。由于epyc平臺(tái)標(biāo)準(zhǔn)主板最小就是ATX（排除妖板/節(jié)點(diǎn)板），所以剛需7擴(kuò)展槽。 ATX+8盤(pán)以上+7pcie槽，小體積。。。那就是半人馬座咯，1200r，咬牙掏吧。

半人馬座β版。21.3L極限尺寸，風(fēng)道和開(kāi)孔配h11ssl不多不少。sff8643的位置很舒適。

上層據(jù)說(shuō)有150瓦的解熱，實(shí)測(cè)成功壓住。**但用全套貓扇依舊很吵，零距離擺放需佩戴降噪耳機(jī)，（應(yīng)該）不能擺放在臥室環(huán)境。**

主板

主板方面，選擇了超微H11SSL-C。

有8個(gè)SATA和2個(gè)SFF8643，SFF8643可以插8個(gè)SAS盤(pán)。

?有三個(gè)pcie x16插槽和三個(gè)pcie x8插槽，雙千兆i210和一個(gè)IPMI遠(yuǎn)程管理接口，1000元左右，

應(yīng)該是最便宜的EPYC ATX標(biāo)準(zhǔn)規(guī)格主板。

?預(yù)算充足的話更推薦用超微H12SSL，多28條PCIe通道，且PCIe3.0 → PCIe4.0

內(nèi)存

內(nèi)存方面，選擇了三根32GB DDR4 2400 ECC REG內(nèi)存條組96GB三通道。由于7D12的缺陷最終沒(méi)有用上四通道，不過(guò)96GB已經(jīng)可以很好滿足需求。

硬盤(pán)

?硬盤(pán)方面，閃存池選用了長(zhǎng)江顆粒+聯(lián)蕓MAP1202無(wú)緩 【最低速最便宜】方案作為全閃nas的數(shù)據(jù)硬盤(pán)。長(zhǎng)江顆粒懂得都懂便宜耐艸，5條2T平均每條400。 ?機(jī)械池選用了7個(gè)珍藏多年的準(zhǔn)新SAS 3TB企業(yè)盤(pán)和1個(gè)18TB HC550硬盤(pán)作為陣列（7盤(pán)小盤(pán)體陣列保障安全和速度）和冷存儲(chǔ)（不考慮安全）。插滿機(jī)箱8盤(pán)位。

?如果存儲(chǔ)滿了還可以考慮在留空的PCIe槽位擴(kuò)展sas光纖卡（sas 4i4e規(guī)格）外接3.5寸機(jī)頭，加個(gè)幾十個(gè)盤(pán)位沒(méi)問(wèn)題?；蛘呖紤]下lto5磁帶機(jī)做二級(jí)冷備份？

網(wǎng)卡

?網(wǎng)卡方面，選用了mellanox的mcx4121a-acat，屬CX4-lx系列，是小mac核心所以溫度不會(huì)特別高，不放心扎帶綁一個(gè)4cm小風(fēng)扇即可壓住。 cx4121目前可兼容apple silicon設(shè)備。支持SRIOV和RDMA RocEV2技術(shù)（macOS不支持），準(zhǔn)新300元左右。

顯卡

顯卡方面，用的也是和7d12一樣漂洋過(guò)海的大船英偉達(dá)tesla p4。雖然不適合玩游戲，但是可以提供視頻編解碼、圖像處理，以及**CUDA**。 ?還有就是支持vGPU，可以切給虛擬機(jī)。 ? vGPU的方案是可以將圖形任務(wù)和計(jì)算任務(wù)隔離，例如分配兩個(gè)grid-p4-4q虛擬工作站實(shí)例給兩個(gè)Windows虛擬機(jī)或者Linux+Windows，同時(shí)滿足圖形桌面渲染+娛樂(lè)和后臺(tái)gpu compute任務(wù)（編解碼，圖像識(shí)別，推流等） 價(jià)格是400元左右，原裝被動(dòng)散熱，**有負(fù)載必過(guò)熱**，40買(mǎi)個(gè)渦輪扇可解決過(guò)熱問(wèn)題。就是橙色的那個(gè)。

電源

看評(píng)測(cè)隨便挑了一個(gè)，sfx電源預(yù)算足建議買(mǎi)1.5元一瓦以上。

散熱器

散熱器方面，是買(mǎi)主板送的2U散熱器。風(fēng)扇規(guī)格6025，換貓扇后滿載不超過(guò)75度。 另機(jī)箱風(fēng)扇是利民8015、貓頭鷹12025。cpu-內(nèi)存兩個(gè)8015用利民靜音扇實(shí)測(cè)可行。PCI槽位的8015風(fēng)扇可以用風(fēng)量更大的，比如雙滾珠12V0.4a規(guī)格。

至此，硬件介紹完畢。

2??系統(tǒng)配置：

軟硬件架構(gòu)以及基本的周邊設(shè)備

線框圖 一圖流：建議放大查看

為了提高該方案的性能、穩(wěn)定性、擴(kuò)展性和效率，我可以提出以下幾點(diǎn)：

• 要盡可能利用PCIe槽位給閃存設(shè)備，最好只留一張網(wǎng)卡和一張顯卡其他都用nvme閃存盤(pán)。這樣使閃存池容量最大化，同時(shí)利用SR-IOV和Nvidia vGPU技術(shù)將網(wǎng)卡和顯卡的功能分配給多個(gè)虛擬機(jī)，實(shí)現(xiàn)單設(shè)備功能復(fù)用。

• 盡可能使用RDMA技術(shù)減少高速轉(zhuǎn)發(fā)帶來(lái)的CPU負(fù)擔(dān)，因?yàn)閚vme閃存的速度已經(jīng)遠(yuǎn)超過(guò)網(wǎng)絡(luò)和常規(guī)鏈路層支持的速度上限，如果不采取措施，高速的閃存數(shù)據(jù)會(huì)堵塞在網(wǎng)絡(luò)上增加CPU的負(fù)擔(dān)。RDMA技術(shù)可以讓閃存數(shù)據(jù)直接通過(guò)網(wǎng)絡(luò)傳輸，不需要經(jīng)過(guò)CPU的處理。

• 使用【25gbps/每用戶】的網(wǎng)絡(luò)帶寬滿足全閃NAS的性能需求，是因?yàn)閃indows資源管理器的單線程傳輸速度受限（1.9-2GB/S)；macOS對(duì)smb協(xié)議的支持不佳，而apple silicon的雷電接口也存在寫(xiě)入限速的硬件bug(1.5GB/S)。所以，即使使用40G或更高的網(wǎng)絡(luò)接口，也無(wú)法充分利用網(wǎng)卡帶寬。在這種情況下，提高網(wǎng)絡(luò)帶寬的收益很小。40Gbe等一眾QSFP+網(wǎng)卡光模塊價(jià)格也會(huì)高很多。

• 如果用戶數(shù)量很少，nvme閃存組陣列幾乎沒(méi)有意義。單盤(pán)nvme ssd足以跑滿帶寬。

宿主系統(tǒng)

選用基于debian的開(kāi)源系統(tǒng)proxmox ve（pve）作為虛擬化平臺(tái)。

在pve上暫時(shí)用了5個(gè)虛擬機(jī)來(lái)實(shí)現(xiàn)需求。

1、TRUENAS scale

一是truenas scale，在truenas scale虛擬機(jī)中，7個(gè)希捷es3 3TB機(jī)械硬盤(pán)組成一個(gè)raidz陣列，還有一塊18TB HC550氦氣盤(pán)做單盤(pán)條帶?？偣灿?2TiB的可用空間。raidz陣列可容忍1個(gè)硬盤(pán)同時(shí)損壞而不丟失數(shù)據(jù)，還有快照、壓縮、去重、加密等高級(jí)功能。作為服務(wù)機(jī)，分配32個(gè)vCPU，兼用機(jī)械盤(pán)nas和輕量應(yīng)用平臺(tái)。作為nas服務(wù)端，分配2個(gè)VF虛擬25g網(wǎng)卡。

?因?yàn)榇鎯?chǔ)池總?cè)菁s40TB，所以分配40GB的內(nèi)存作為ARC一級(jí)緩存。建議ARC=存儲(chǔ)池總?cè)萘康?.1%

緩存vdev設(shè)置，緩存vdev即L2ARC。這里取了個(gè)巧，給truenas分配了2個(gè)虛擬磁盤(pán),如圖開(kāi)啟寫(xiě)入同步和ssd仿真，因?yàn)閜ve現(xiàn)版本virtio虛擬盤(pán)實(shí)測(cè)讀寫(xiě)效能非常優(yōu)秀，也就是說(shuō)成功省下兩塊物理緩存盤(pán)。建議L2ARC=存儲(chǔ)池容量的1%

這是qemu虛擬磁盤(pán)的讀寫(xiě)跑分，pve宿主盤(pán)是致態(tài)PC005。

2、windows server 2022

作為服務(wù)機(jī)，分配32個(gè)vCPU和一個(gè)vGPU，兼用閃存nas和多媒體應(yīng)用平臺(tái)。作為nas服務(wù)端，分配2個(gè)VF虛擬25g網(wǎng)卡。

?書(shū)接上文，RDMA目前最簡(jiǎn)單的實(shí)現(xiàn)方案就是使用2012以上版本W(wǎng)indows server，客戶端使用 Windows 專(zhuān)業(yè)工作站版~~或2012以上版本W(wǎng)indows server~~，技術(shù)開(kāi)箱即用。

?且smbd（smaba-direct）技術(shù)目前為winserver獨(dú)占，smbd同樣在Windows上開(kāi)箱即用。 ?RDMA我認(rèn)為是全閃nas需使用到的關(guān)鍵技術(shù)，rdma啟用后，可直接網(wǎng)卡對(duì)網(wǎng)卡傳輸數(shù)據(jù)，利于提供更高速和低延遲的網(wǎng)絡(luò)傳輸和共享。

? 以及要實(shí)現(xiàn)上文提到的支持按需擴(kuò)展（單盤(pán)擴(kuò)容），這里使用了付費(fèi)的stablebit drivepool實(shí)現(xiàn)磁盤(pán)合并，以及開(kāi)源免費(fèi)的snapraid實(shí)現(xiàn)數(shù)據(jù)安全保障。 ? Stablebit DrivePool是一款磁盤(pán)池化應(yīng)用程序，可以將多個(gè)物理硬盤(pán)組合成一個(gè)大的虛擬驅(qū)動(dòng)器。

支持隨時(shí)修改存儲(chǔ)池映射位置，可隨意增加/減少池內(nèi)硬盤(pán)。存儲(chǔ)池的存取速度取決于讀寫(xiě)時(shí)使用的特定硬盤(pán)的速度。

要實(shí)現(xiàn)數(shù)據(jù)安全需要同時(shí)部署snapraid。

SnapRAID是一款備份程序，可以為磁盤(pán)陣列存儲(chǔ)奇偶校驗(yàn)信息，從而在最多六個(gè)磁盤(pán)損壞的情況下恢復(fù)數(shù)據(jù)。SnapRAID主要適用于存儲(chǔ)大量不經(jīng)常變化的文件，如家庭媒體中心。SnapRAID的特點(diǎn)有：

• 可以在不格式化或重新分區(qū)的情況下，使用已經(jīng)有文件的磁盤(pán)。

• 可以在任何時(shí)候添加或刪除磁盤(pán)，磁盤(pán)可以有不同的大小。

• 可以為任何文件夾設(shè)置奇偶校驗(yàn)盤(pán)，保護(hù)數(shù)據(jù)的完整性和安全性。

• 可以檢測(cè)和修復(fù)數(shù)據(jù)的損壞，避免靜默錯(cuò)誤。

• 可以恢復(fù)意外刪除的文件。

• 不會(huì)鎖定數(shù)據(jù)，可以隨時(shí)停止使用SnapRAID，而不影響數(shù)據(jù)的訪問(wèn)

這里編輯snapraid的config文件或使用第三方開(kāi)發(fā)的GUI界面Elucidate進(jìn)行簡(jiǎn)單配置，將剩余的一個(gè)數(shù)據(jù)盤(pán)設(shè)定為檢驗(yàn)盤(pán)，根據(jù)readme教程走即可。

snapraid是快照式備份，若設(shè)置恰當(dāng)將不會(huì)影響Stablebit存儲(chǔ)池的性能。

• winserver也可以部署其他服務(wù)，比如我正在跑的jellyfin、阿里ddns、家庭相冊(cè)、某torrent等。

3、Windows10專(zhuān)業(yè)工作站版

作為客戶機(jī)，分配56個(gè)vCPU和一個(gè)vGPU，用于娛樂(lè)和cpu負(fù)載場(chǎng)景。作為nas客戶端，分配2個(gè)VF虛擬25g網(wǎng)卡。

部署handbrake、davinchi media server等。

cpuz宿主空載跑分9400-10000左右，壓片神器。宿主后臺(tái)重負(fù)載也能跑到9000分以上。供參考。

4、win10ltsc

作為客戶機(jī)的win10ltsc，用于整活和測(cè)試

5、nvlic

用于nvidia vgpu的nvlic服務(wù)

三、配置過(guò)程（概要）

這里只列舉了一些踩坑的內(nèi)容，剩余部分基本不存在難度，善用搜索引擎即可完成整個(gè)部署流程。

也可以看看這篇：告別單盤(pán)組建TrueNAS SCALE終極家用OpenZFS File Server, VM & More - 電腦討論(新) - Chiphell - 分享與交流用戶體驗(yàn)

0、修改bios設(shè)置

啟用IOMMU,SVM,ABOVE 4G,ARI SUPPORT,AER SUPPORT,SR-IOV,ACS ENABLE,

M2拓展卡對(duì)應(yīng)的pcie插槽分配改成x4x4x4x4模式

啟動(dòng)UEFI引導(dǎo)

1、安裝pve7操作系統(tǒng)

2、打開(kāi)系統(tǒng)shell，備份并修改軟件源

備份

編輯，添加清華鏡像源

編輯完文件后按“Ctrl + X” > “Y” > “回車(chē)”

編輯企業(yè)源

編輯完文件后按“Ctrl + X” > “Y” > “回車(chē)”

更新

3、修改grub

打開(kāi)PVE節(jié)點(diǎn)的shell，輸入命令：

PVE的shell中輸入：

在文件下面添加新內(nèi)容

編輯完文件后按“Ctrl + X” > “Y” > “回車(chē)”，繼續(xù)輸入以下命令。更新配置信息并重啟PVE主機(jī)

4、配置uefi Windows

創(chuàng)建Windows虛擬機(jī)，選擇引導(dǎo)方式為uefi，創(chuàng)建完成后不要啟動(dòng)，PVE的shell中輸入：

添加這些命令行（添加它們的位置并不重要，只要它們位于新行即可。保存后 Proxmox 會(huì)為您移動(dòng)內(nèi)容）：

虛擬機(jī)選項(xiàng)調(diào)整磁盤(pán)引導(dǎo)順序，Windows安裝盤(pán)第一，系統(tǒng)盤(pán)第二，virtio驅(qū)動(dòng)光盤(pán)第三

uefi引導(dǎo)過(guò)程中敲擊任意鍵，啟動(dòng)安裝程序

磁盤(pán)列表為空，就需要手動(dòng)加載virtio驅(qū)動(dòng)盤(pán)。virtio驅(qū)動(dòng)盤(pán)至此下載：

https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/latest-virtio/virtio-win.iso

安裝并啟動(dòng)，記得刪除Windows安裝盤(pán)。

進(jìn)系統(tǒng)后設(shè)備管理器里手動(dòng)加載驅(qū)動(dòng)，啟用virtio 虛擬網(wǎng)卡。

5、啟用mellanox網(wǎng)卡sriov功能

【mellanox網(wǎng)卡驅(qū)動(dòng)pve已預(yù)裝，請(qǐng)勿嘗試手動(dòng)安裝?。?！】

查看網(wǎng)卡編號(hào)lspci -nn或至webui-節(jié)點(diǎn)-網(wǎng)絡(luò)頁(yè)面 中 查找

舉例，這里網(wǎng)卡編號(hào)是 enp66s0f0np0 和enp66s0f1np1

跳轉(zhuǎn)目錄

編輯配置文件

逐條執(zhí)行以下命令，應(yīng)用保存重啟

重啟后打開(kāi)shell，輸入lspci，確認(rèn)是否開(kāi)出vf（virtual function）

虛擬機(jī)-PCI設(shè)備，選中vf分配即可，注意：

1、同一物理端口下vfpf可任意連通，但不能跨物理端口（雙端口卡也就是分成了兩組）；

2、vfvf之間跑通需要物理端口state up，若空著物理端口，內(nèi)部虛擬網(wǎng)卡則無(wú)法使用。

6、配置vGPU

隔壁小黃魚(yú)請(qǐng)

四、性能測(cè)試

客戶機(jī)分別用Windows10專(zhuān)業(yè)工作站版和macOS14.0beta測(cè)試。

1、讀寫(xiě)速度：使用crystal disk mark4軟件測(cè)試nas上各個(gè)存儲(chǔ)池的讀寫(xiě)速度。結(jié)果如下：

5個(gè)2TB nvme ssd條帶存儲(chǔ)池：

• host順序讀寫(xiě)速度為3.57G/s和3.17G/s

• guest(Windows10工作站版）順序讀寫(xiě)速度為2.87G/s和2.59G/s

• guest（macOS Sonoma 14.0beta）順序讀寫(xiě)速度為1.74G/s和0.37G/s

但若使用物理機(jī)win10工作站host對(duì)macOS Sonoma 14.0beta guest，速度則會(huì)更高，推測(cè)可能是SR-IOV的性能開(kāi)銷(xiāo)，這里再放一張物理機(jī)對(duì)連的跑分：順序讀寫(xiě)速度為2.54G/s和0.44G/s。

Truenes scale7個(gè)3TB機(jī)械硬盤(pán)陣列：

• guest(Windows10工作站版）順序讀寫(xiě)速度為2.18G/s和1.63G/s

• guest（macOS Sonoma 14.0beta）順序讀寫(xiě)速度為2.15G/s和0.23G/s

2、功耗

使用一個(gè)智能插座測(cè)試nas的功耗。分別在nas空閑、滿載狀態(tài)下測(cè)量功耗。

• 家里智能插座似乎不準(zhǔn)這條后續(xù)補(bǔ)在評(píng)論區(qū)。

3、溫度

ipmi自帶的監(jiān)控功能測(cè)試溫度。

• 空閑狀態(tài)：cpu溫度為69℃，顯卡溫度為54℃，nvme ssd溫度為42-50℃，機(jī)械硬盤(pán)溫度為35℃。

烤雞半小時(shí)狀態(tài)：cpu溫度為83℃，顯卡溫度為73℃，nvme ssd溫度為43-53℃，機(jī)械硬盤(pán)滿載溫度為50℃?？蛰d盤(pán)35℃

4、噪音

手機(jī)app測(cè)試，距離服務(wù)器直線距離一米，無(wú)遮擋。

啟動(dòng) 40db，持續(xù)運(yùn)行 44db，滿載（風(fēng)扇拉滿） 47db。

未完待續(xù)

對(duì)你有幫助的話，收藏點(diǎn)贊別忘了哦??

再想到什么評(píng)論區(qū)補(bǔ)充吧。