高性能家用 NAS 搭建(TrueNAS SCALE)

其實(shí)原本沒有想這么早組出 NAS 的,不過因?yàn)槟承┰?,我覺得大容量存儲(chǔ)空間的需求很迫切,所以趁著雙十一把它搭起來了。
考慮到可能要在上面跑 Git Server(譬如 GitLab)之類的東西,所以這套 NAS 的配置較高,不算數(shù)據(jù)盤總共花了 8000 左右。價(jià)格差不多到了高端成品 NAS 的水平,但是性能和擴(kuò)展性強(qiáng)了很多倍,整體還是很滿意的,在這里我詳細(xì)介紹一下它的配置。
系統(tǒng)
操作系統(tǒng)我選擇了?TrueNAS SCALE。
TrueNAS CORE 的前身 FreeNAS 也算是大名鼎鼎了,開源系統(tǒng)是一個(gè)很大的加分項(xiàng),也是需要 ZFS 時(shí)的優(yōu)選,它背后的 iXsystems 積極將 ZFS 主線上的功能和漏洞修復(fù)在 ZFS 大版本之前提前提取到 TrueNAS 之上。
但是FreeNAS(TrueNAS CORE)是基于 FreeBSD 的系統(tǒng),相對(duì)來說硬件驅(qū)動(dòng)支持更差,軟件也更難找,Docker 更是難題,往往還需要虛擬機(jī),而 TrueNAS SCALE 則轉(zhuǎn)向 Debian 解決了硬件驅(qū)動(dòng)問題,更是原生支持了 Docker,同時(shí)保留了 TrueNAS CORE 的優(yōu)勢。
21 年 10 月底 TrueNAS SCALE 22.02-RC.1 發(fā)布,TrueNAS SCALE 正式進(jìn)入 RC 階段,算是穩(wěn)定了下來,于是我選擇它作為我的 NAS 系統(tǒng)。
平臺(tái)(主板 CPU)
權(quán)衡價(jià)格、功耗、性能與擴(kuò)展性之后,CPU 我選擇了?Intel Xeon W-2175,搭配的主板則選擇 C422 芯片組的超微 X11SRA-F。
W-2175 正式版目前某寶價(jià)格不超過 1800,據(jù)稱是全新。Skylake 架構(gòu),IPC 不差而且待機(jī)功耗較低(待機(jī)時(shí) CPU 只有十幾瓦,不算很高了),14 核心 28 線程,單核睿頻還能達(dá)到 4.3 Ghz,性能對(duì)于 NAS 來說足夠強(qiáng)勁。



我選擇的這塊 X11SRA-F 支持 IPMI,板載顯卡,很方便遠(yuǎn)程管理。通過 IPMI 可以遠(yuǎn)程操作開關(guān)機(jī),控制風(fēng)扇,查看硬件日志狀態(tài),甚至有類似遠(yuǎn)程桌面的功能,而且更加強(qiáng)大,只要開機(jī)就能操作電腦,甚至可以控制 BIOS!通過編程調(diào)用 IPMI 也很簡單,我就在 QQ Bot 中集成了遠(yuǎn)程控制 NAS 開關(guān)機(jī)的功能。
作為工作站平臺(tái),C422 芯片組支持四通道八根 DDR4 REG ECC 內(nèi)存,最大 512GB。而且它具有對(duì)于 NAS 來說非常強(qiáng)大的擴(kuò)展性,我這塊 X11SRA-F 提供了:
三個(gè) PCIe3.0x16 擴(kuò)展槽(其中兩個(gè)滿速,一個(gè) x8 速率),一個(gè) PCIe3.0x4 插槽;
兩個(gè) PCIe3.0x4 的 M.2 插槽;
兩個(gè) PCIe3.0x4 的 U.2 插槽;
6 個(gè) SATA 6Gbps 接口。
除了沒能給滿 8 個(gè)板載 SATA 口讓我有點(diǎn)難受,其他方面我都很滿意,足夠后期額外增添更多設(shè)備(譬如陣列卡)。
除此之外,它還有工作站標(biāo)準(zhǔn)的雙網(wǎng)卡配置:一塊帶 IPMI 的千兆網(wǎng)卡?Intel I210-AT,一塊 5GbE 的 AQC108 網(wǎng)卡。雖然可惜沒有給板載萬兆網(wǎng)卡,但是對(duì)于目前我的 2.5G 內(nèi)網(wǎng)來說這是充足的,AQC108 在 TrueNAS SCALE 上可以免驅(qū)使用,協(xié)商到 2.5G 速率也毫無問題。
因?yàn)橹靼宄鰡栴}會(huì)比較麻煩,我選擇全新帶保的,價(jià)格略貴,2300 左右。


內(nèi)存
ZFS 很依賴 ECC 內(nèi)存,內(nèi)存隨機(jī)性錯(cuò)誤可能會(huì)導(dǎo)致數(shù)據(jù)出錯(cuò),而 ECC 內(nèi)存能自動(dòng)修正單 bit 錯(cuò)誤,檢查到多 bit 錯(cuò)誤。同時(shí) ZFS 還使用內(nèi)存作為緩存,ZFS 去重功能也會(huì)消耗大量內(nèi)存(1T 存儲(chǔ)空間建議對(duì)應(yīng) 5G 內(nèi)存)。
考慮到 GitLab 等服務(wù)要的內(nèi)存也不少,64G 總內(nèi)存太過勉強(qiáng),這里我選擇了四根三星 32G 2666V 的 REG ECC 內(nèi)存,現(xiàn)在一根價(jià)格不到 600,也就是 128G 總價(jià)不到 2400。



散熱器
這顆 CPU 功耗即使單烤 FPU 也就 115W 左右,頂蓋面積也大,很容易就壓住,不過低價(jià)散熱器支持 LGA20XX?扣具的不多,再考慮外觀因素,這里我選擇了利民 U120EX 黑色版。
黑色版本的 U120EX 上了兩把降速版的 B12E,和 B12 轉(zhuǎn)速保持一致,不過換成了雙滾珠軸承,有更長的壽命(雙滾珠一般比油軸噪音更大,不過據(jù)稱這玩意軸噪很低,至少我是沒怎么聽到,都被風(fēng)噪蓋下去了)。
當(dāng)然實(shí)際上 TA120EX 也帶了 LGA20XX?扣具,要問我為什么在這上面加錢……主要還是帥,U120EX 的弧線塔體是真的好看。
散熱能力我沒有做對(duì)比不好說,不過 W-2175 本身發(fā)熱很低,單烤基本五十多度的水平,用它是完全足夠了。



機(jī)箱風(fēng)扇
機(jī)箱風(fēng)扇方面,前進(jìn)風(fēng)風(fēng)扇我用了三把利民 TL-C12-B(C12 黑色版),后出風(fēng)則用了風(fēng)量更大的 TL-C12PRO。
不過要注意的是,X11SRA-F 的滿速模式以外的轉(zhuǎn)速策略會(huì)時(shí)不時(shí)抽風(fēng)到滿速,滿速即使 C12 都過吵。通過 IPMI 能夠控制風(fēng)扇轉(zhuǎn)速,但即使是在全速模式下設(shè)置的,過一段時(shí)間會(huì)因?yàn)槲粗虮桓采w,最后我是額外整了幾根減速線才把轉(zhuǎn)速降下去的。



機(jī)箱
NAS 機(jī)箱是安鈦克 P101-S。原生 8 機(jī)械盤位+2 SSD 盤位,還有一個(gè)光驅(qū)位。上、前、左、右四面有降噪材質(zhì)。全機(jī)箱都有快拆設(shè)計(jì),拆卸體驗(yàn)不錯(cuò)。
不過這玩意是我這套 NAS 準(zhǔn)備下來槽點(diǎn)最多的玩意。降噪效果聊聊勝于無,而且安鈦克的做工屬實(shí)一言難盡,我這個(gè)機(jī)箱風(fēng)扇支架最上面還有處斷裂,雖然影響不大,但是很糟心(京東給我賠了 2000 京豆)。更煩的是,光驅(qū)位卸下來按理說是可以再加一個(gè)硬盤籠,這個(gè)硬盤籠下面兩個(gè)螺絲能擰,專門去問了其他人,他們的也都能裝,但我這個(gè)不知道是不是孔位誤差太大了,孔位歪了不少根本擰不上。這玩意硬盤架本身也是歪的……雖然擰上螺絲就好了。
另一點(diǎn)是它的前置風(fēng)扇位很難更換風(fēng)扇,想要自己換三把 12cm 風(fēng)扇的用戶要小心。對(duì)于有腳墊的風(fēng)扇,試了半天螺絲位都剛好沒有孔位,只能把三把風(fēng)扇壓到最下面(導(dǎo)致最下面一把風(fēng)扇沒法單獨(dú)取出來),最下面的螺絲還要用直角螺絲刀斜著擰進(jìn)去才行。膠釘也試過了,根本用不了。
如果讓我再選,我可能會(huì)試試先馬厚道先生,價(jià)格更低而且有 12+2 個(gè)硬盤位,據(jù)朋友說用料也還可以。

電源
NAS 電源也是一個(gè)很關(guān)鍵的部件,差的電源紋波不穩(wěn)很可能會(huì)導(dǎo)致硬盤報(bào)廢。
穩(wěn)妥起見,我選擇了追風(fēng)者 AMP850。850w 金牌全模組,海韻代工,用的 FOCUS 二代方案,也就是海韻 FOCUS 目前正在用的方案(安鈦克 HCG 等則是一代 FOCUS 方案,會(huì)在電源線里塞濾波電容,導(dǎo)致線材非常硬),完全可以當(dāng)成價(jià)格更低的海韻 FOCUS GX850,值得信賴。850w 對(duì)于一個(gè)滿載在 200w 以下的 NAS 來說也綽綽有余。


UPS
突然斷電對(duì)于機(jī)械硬盤來說傷害很大,UPS 對(duì)于 NAS 來說也是必不可少的,可以在突然斷電時(shí)提供短暫的后備供電,讓 NAS 有機(jī)會(huì)正常關(guān)機(jī)。
相對(duì)于在線式 UPS,后備式 UPS 輸出波形更差,而且斷電時(shí)需要幾毫秒的時(shí)間切換到 UPS 供電,所以高端 UPS 一般是在線式,不過家用機(jī)器對(duì)這些問題并不敏感,后備式 UPS 更便宜、噪音更低而且供電損耗也更低,普通 NAS 使用足夠。
這里我選擇了山特 TG-BOX 850。510w 足夠 NAS 使用,噪音非常低,價(jià)格也不算貴,支持與 NAS USB 通訊。
PS:USB 插上后,Windows、群輝等都能直接識(shí)別,但是 TrueNAS 需要自己配置 NUT。TrueNAS 需要填對(duì)應(yīng)的驅(qū)動(dòng),TG-BOX 850 不在那個(gè)列表里。經(jīng)過探索,確認(rèn)了 TG-BOX 使用?usbhid-ups
?驅(qū)動(dòng)即可。所以只需要在 Driver 一欄輸入 usbhid-ups,在搜索出來的型號(hào)里隨便選擇一個(gè)就好了。




SATA 擴(kuò)展卡
由于 X11SRA-F 只有 6 個(gè) SATA,而我目前要用到的 SATA 接口數(shù)量已經(jīng)超過 6 個(gè),所以需要額外的擴(kuò)展卡轉(zhuǎn)出更多 SATA。
ZFS 并不需要硬件 RAID 陣列,所以陣列卡不是必要的。雖然陣列卡的直通模式也是穩(wěn)妥的選擇,但相對(duì)來說陣列卡的功耗還是太高了,沒有硬 RAID 或者 SAS 硬盤的需求時(shí)用普通的擴(kuò)展卡就好了。
一番尋找后,我選擇了這張樂擴(kuò)的 4 口 SATA 的擴(kuò)展卡。
芯片應(yīng)該是 ASM1064,PCIe 3.0x1 轉(zhuǎn) 4 口 SATA,免驅(qū),支持啟動(dòng)盤。目前這里沒有遇到不穩(wěn)定的情況,啟動(dòng)盤插在上面工作也完全正常,測速表現(xiàn)也沒有問題。
系統(tǒng)盤
TrueNAS 對(duì)于系統(tǒng)盤的要求不高,很少需要讀寫系統(tǒng)盤,而且啟動(dòng)后會(huì)把內(nèi)容讀入內(nèi)存中,運(yùn)行過程中斷開系統(tǒng)盤會(huì)直接報(bào)警,而且能夠把系統(tǒng)配置全部導(dǎo)出,就算系統(tǒng)盤壞了,新盤重裝后重新導(dǎo)入配置也能完全恢復(fù)。不過為了減少折騰,還是穩(wěn)妥一些比較好。
TrueNAS 是允許同時(shí)安裝在多個(gè)介質(zhì)之上的,每個(gè)介質(zhì)(硬盤、U盤等)存儲(chǔ)相同的內(nèi)容,相當(dāng)于 Mirror(RAID 1),只要其中一個(gè)沒有壞就能正常引導(dǎo)。系統(tǒng)盤不需要太大,32G 就充足了。
我在這里使用兩塊小容量 SSD 互相鏡像作為啟動(dòng)盤。
其中一塊是倉庫里翻出來的 256G 閃迪 X400,當(dāng)年用在筆記本上的。M.2 接口 SATA 協(xié)議,用了一個(gè)佳翼的轉(zhuǎn)接卡轉(zhuǎn)成標(biāo)準(zhǔn) SATA 盤。


另一塊是淘寶購置的 128G 閃迪 X300s。140 塊錢,企業(yè)級(jí) MLC,SMART 信息里是零通電零讀寫,估計(jì)是清零盤,不過反正安全要求不高,而且有 3 年店保,問題不大。


數(shù)據(jù)盤
對(duì)于數(shù)據(jù)盤,我預(yù)期是 16T~18T 的存儲(chǔ)空間,冗余空間在硬盤總?cè)萘可险急瘸^ 30%。
首先,所有 RAIDZ1(類似 RAID 5)的方案直接可以排除。RAIDZ1(RAID5)在大容量硬盤陣列上重建失敗率是不可忽視的(參見:木頭龍:你的數(shù)據(jù)有多安全?關(guān)于RAID你了解多少?),不管 8T*3 還是 6T*4,壞一塊盤后重建陣列中都有不能忽略的概率再壞一塊,到了這種程度的風(fēng)險(xiǎn)完全不能容忍。
一種方案是兩塊 16T 的 HC550 或者希捷銀河,做 Mirror(類似 RAID1)。16T 企業(yè)盤目前足夠便宜,所以這種方案價(jià)格較低,而且管理起來簡單。不過對(duì)于大容量盤 Mirror(RAID1)的安全性,我是很不放心的,只要壞一塊盤就完全無冗余了,這種情況下使用的風(fēng)險(xiǎn)完全難以接受。
另外,HC550 16T 目前貼吧里已經(jīng)暴斃了幾塊,不知具體是什么原因,想上車的話建議還是觀望一下。
第二種方案是 4 塊 8T 的 HC320 組成 RAIDZ2(類似 RAID6)陣列。這個(gè)方案較穩(wěn)妥,安全性也充足,而且對(duì)于 8 盤位來說,有充足的擴(kuò)展余地,日后可以再添四塊做 RAIDZ2 后與現(xiàn)有硬盤組成 Stripe(類似 RAID60)。不過這樣擴(kuò)容的話,必須塞滿 8 盤位,而且會(huì)有 4 塊冗余盤,同時(shí)每組盤中又只能壞 2 塊,還是有點(diǎn)難受(當(dāng)然馬上要合并的 RAIDZ expansion 可以解決這個(gè)問題,但這玩意擴(kuò)容后的空間與已用空間相關(guān),還是不夠舒服)。
猶豫再三,最后選擇了七塊 4T?西部數(shù)據(jù)紫盤組成 RAIDZ3 陣列(最多能壞三塊),總共 3500。
相對(duì)來說,紫盤(監(jiān)控盤)比企業(yè)盤的穩(wěn)定性差,質(zhì)保也只有三年(企業(yè)盤是五年),不過比起前面的方案成本更低,噪音也更小,另外監(jiān)控盤也是基本保證是 CMR 而非 SMR 的,因?yàn)?SMR 必須特殊的監(jiān)控設(shè)備才能支持。當(dāng)然,最主要的目的還是占位,ZFS 最穩(wěn)妥的擴(kuò)展方式是將硬盤逐個(gè)換為更大容量的硬盤,全部更換后容量就擴(kuò)大了。等兩年之后就可以將它們逐個(gè)替換為大容量硬盤,以此給 NAS 擴(kuò)容即可。
不過在買硬盤的時(shí)候出了點(diǎn)小意外。這幾天剛好趕上西數(shù)迭代產(chǎn)品線,原本的 4T 紫盤是 WD40EJRX,原計(jì)劃中要買的也是這塊盤,但到手后發(fā)現(xiàn)都是 WD42EJRX。雖說 WD42EJRX 也沒什么不好的,犧牲了一點(diǎn)速度,但噪音也有所下降,速度曲線也更平滑。不過這玩意是剛出的新品,沒有經(jīng)過足夠的驗(yàn)證,不過在組 RAIDZ3 的情況下出點(diǎn)問題也不是很嚴(yán)重的事情就是了。
(PS:其他大件我一般優(yōu)先京東買,但是機(jī)械硬盤不是太敢。一方面京東機(jī)械硬盤溢價(jià)很高,一方面京東機(jī)械硬盤的售后不比幾家代理的店售后強(qiáng),而且京東物流……套個(gè)袋子就把硬盤送來了,買過一次后就慫了。建議還是從淘寶那幾家代理店買機(jī)械盤)


冷備份
磁盤陣列能提供一定的冗余,但代替不了備份。
目前冷備份方案是在另一個(gè)房間中直連電腦的一個(gè)鐵威馬 D2-310 雙盤位陣列柜,里面是兩塊 618 時(shí)入的西部數(shù)據(jù) 6T 紫盤(WD62EJRX)。兩塊硬盤內(nèi)容互相鏡像,不過沒用 RAID1,而是靠 FreeFileSync 軟件在兩塊盤之間同步。NAS 上的數(shù)據(jù)會(huì)同時(shí)備份到這兩塊盤上。
硬盤盒用的 UPS 和 NAS 的同型號(hào),都是山特 TG-BOX 850。


云備份
冷備份也不足以保證數(shù)據(jù)安全性,因?yàn)槔鋫溆玫年嚵泄窈?NAS 還在同一個(gè)房子里,地震、火災(zāi)、入室盜竊等都可能導(dǎo)致它們同時(shí)損毀。個(gè)人想要維護(hù)異地容災(zāi)備份是比較艱難的事情,但可以依賴網(wǎng)盤低成本的達(dá)成。
我這里主要的數(shù)據(jù)會(huì)在 OneDrive 和 115 網(wǎng)盤上同時(shí)備份,不過 OneDrive 容量太小,一般的數(shù)據(jù)只能在 115 上單獨(dú)存放一份。不過在前面有 NAS 的陣列、兩塊冷備盤、主力機(jī)的數(shù)據(jù)盤的多份存檔,網(wǎng)盤的安全性沒有那么重要。
交換機(jī)
既然是 NAS,那么就得考慮內(nèi)網(wǎng)傳輸與分享。千兆內(nèi)網(wǎng)目前來說還是稍微慢了一點(diǎn),萬兆成本又比較高,功耗也高,而且難以跑滿。2.5G 算是一個(gè)折中的選擇,而且目前主板上已經(jīng)在普及 2.5G 網(wǎng)卡,不需要為每個(gè)用到的設(shè)備再去更新網(wǎng)卡了。
升級(jí)有線 2.5G 內(nèi)網(wǎng),在已經(jīng)有板載 2.5G 網(wǎng)卡的情況下,需要的只是更新一下自己的交換機(jī),那怕路由器只是千兆的,在交換機(jī)下一樣能跑滿 2.5G。這里因?yàn)槲铱蛷d和房間都有一些設(shè)備要跑在 2.5G 內(nèi)網(wǎng)之中,所以這里我有兩臺(tái) TP-LINK 的 2.5G 交換機(jī)。上面那個(gè)是 5 口的 SH1005,下面的是 8 口的 SH1008。


成品






待機(jī)的時(shí)候七十多瓦,一般不會(huì)超過九十瓦,功耗也不是很離譜。
