遠程大量文件傳輸方案探究
額……朋友們好啊,我圖吧老數(shù)據(jù)庫管理員了(rm -rf/*,從刪庫到跑路)。最近咱突然有了遠距離傳輸大量數(shù)據(jù)的需求(主要是咱這次出門輕車簡從沒帶數(shù)據(jù)庫備份用硬盤,但是這邊有筆記本改的簡易NAS,就是X200T加了底座光驅(qū)位有硬盤 還有兩三個硬盤可用作為冷熱數(shù)據(jù)掛在硬盤盒里),所以簡單嘗試了幾種方法之后簡單總結(jié)一下。
封面來源:じがてさん(21260747)
這封面是我從隔壁UP那的視頻那要來的,不過這UP的這個封面挺能藏啊,我讓他交出來之后也差點沒找到原圖。后來發(fā)現(xiàn)這家伙是從推上拔的圖,而且這些圖都可一個羊薅啊
首先本期的需求是從遠程有人或無人值守主機/WINNAS遠程傳輸對拷大量零碎小文件或者中體積單個文件的需求,這個需求是基于兩邊都有相對來說不錯的網(wǎng)絡(luò)并且裝備了遠程桌面的條件的。如果遠程端或者客戶端沒有足夠穩(wěn)定的網(wǎng)絡(luò)連接那么一切都是白給。就是說如果咱在現(xiàn)在這個條件可以很開心的使用,但是下?;蛘呷嗽趪獾脑捒赡芫陀欣щy。這個遠程傳輸?shù)姆桨竷H能保證國內(nèi)場合有效。
還有如果各位有群暉之類的內(nèi)網(wǎng)穿透NAS就不需要這么折騰了,這種方案僅適合WINNAS+遠程桌面的DIY級私有云。
開始
通常我們知道的傳輸文件的方法無非是QQ(微云)、兲度網(wǎng)盤這樣的初級產(chǎn)品。像這種方法其實作為個人是相當不建議的。本質(zhì)上先不說各種速度體積上的限制,像ZBJ網(wǎng)盤這種東西還很有可能給你未加密傳輸?shù)奈募o以版權(quán)、非法為由夾掉,非常的垃圾。
倒是可以加密碼比如【0000】+文件名(文件名可簡寫加密)的方法解決無限白嫖QQ群(微云)文件可能會被夾的問題,但是經(jīng)實測啊,像這種除了你別人根本不會用的冷數(shù)據(jù)小文件還有可能那邊不給你好好存,就是雖然不給你夾掉但是你下載回來可能還會損壞,尤其是視頻什么的。所以用WINRAR加校驗位 +5%恢復(fù)記錄(rr%5)是個好習(xí)慣。
然后就可以使用 WinRAR 修復(fù)損壞的分卷、改回原名后重新解壓。
雖然以上技巧配合QwQdownload ?也有一定的穩(wěn)定性和速度,不過這個速度還是太慢,尤其是冷數(shù)據(jù),基本上網(wǎng)盤那邊也不會給你用分布式儲存,能給你存這種文件的服務(wù)器數(shù)量非常有限,而且傳輸也不穩(wěn)經(jīng)常出現(xiàn)壞檔
就像一些分享上說的一樣,百度云下載后需注意校驗,可能還需要修復(fù)。
所以就算不考慮文件丟失損壞的風險,也有下載速度太慢的問題(無法滿速下載、發(fā)生錯誤、遠程主機強波關(guān)閉了一個現(xiàn)有的連接、SSL/TLS算法不同:重啟軟件,打開設(shè)置,嘗試將HTTPS強制轉(zhuǎn)為HTTP打開或關(guān)閉,再嘗試開始下載這種方法對冷數(shù)據(jù)可能無效)。
所以這里我們要補充一下上期阿里網(wǎng)盤 的使用體驗吧
用阿里云盤雖然分享的業(yè)務(wù)水平很差,但是登錄同一個賬號從家里的NAS往公寓的簡易NAS(X200T/201T上X200底座)倒盤是沒問題的。速度,還可以,一般可接受范圍。而且上傳大量文件的時候會秒傳,就是校驗文件的速度太慢影響上傳速度。
阿里云盤是真的勇,私有云這邊真就說上傳一個文件夾就上傳一個文件夾啊, 這項目數(shù)有點NB,說什么都聽啊這孩子。雖然有上傳失敗需要手動,但是大部分都上傳成功了,回頭想辦法手動點重試或者用客戶端再傳吧。
不過這東西的下載并不是完美的,就是雖然速度是在線但是在傳一些需要上傳的冷門文件的時候會出現(xiàn)下載失敗的問題。這里垃圾佬為了穩(wěn)定習(xí)慣性的用了客戶端,但是還是不可避免的出現(xiàn)了失敗。
嗶站也有UP反饋,阿里云盤一些不算太私有太冷門的文件依然會出現(xiàn)掛掉下載失敗的問題。
這玩意可能也分時候,前兩天用X200T掛機下載的就沒啥事,換了X201T就不行,可能這機器臉黑,也可能這次的文件規(guī)模確實太大
如果用網(wǎng)頁選擇下載一個文件夾倒不會彈出會員提示,但是下載會出一個整個的壓縮包
那肯定也是不行的對吧,這玩意用IDM之類的下我都感覺有點懸。這更不可能了。
所以作為備份方案只能接著走BT重下,不過可以用家里的NAS掛機做種把上傳打開提速,而且還能利用現(xiàn)成的進度做校驗
至于垃圾佬的流浪地球加密網(wǎng)盤分享回來的沒BT種子之類的大文件還是優(yōu)先考慮網(wǎng)盤,現(xiàn)做種太麻煩了
現(xiàn)在超星云盤的分享好像沒了,不過還是不限速100G隨便用的狀態(tài)
超星云盤
超星云盤上傳大文件得用客戶端,這會兒好像傳不動了
不過沒關(guān)系啊,之前提到的奶??靷?也可以用
上傳需要登錄并且有限制
這玩意必須完成上傳之后文件經(jīng)過服務(wù)器傳輸
下載的話垃圾佬用火狐試了下這邊只要有鏈接就可以,是不一定要登錄的
這會兒速度也就1M那樣吧,考慮到垃圾佬這邊的網(wǎng)速和并行下載量也不低了
這會兒下載能有速度就不錯了,公寓這邊的網(wǎng)之前咱試過,人一多就GG,咱這會兒是運氣好直接住路由器下面了,離得遠一點手機啊筆記本啊網(wǎng)卡信號不太好的就連不上了,所以垃圾佬的電腦一般都是全員惡人,都換了信號最強的網(wǎng)卡,iPhone之類的垃圾沒辦法,所以上了WS5200四核版和E5885之類的東西作為中繼或者干脆走4G。這會兒網(wǎng)行就直接一個中繼解決,E5885的中繼比WS5200 WS7200的好,不改變本機AP的SSID,所以有獨立網(wǎng)段內(nèi)網(wǎng)分享些東西也方便且安全性高。當然要是中繼的是自己家的網(wǎng)的話就還是前者更實用。
實測嗷,BT做種掛機上傳在同樣運營商的網(wǎng)里面是可以有速度的,垃圾佬看了一眼圖吧NAS端μT上傳用戶和測速網(wǎng)顯示的本機IP地址完全一致。也就是說我自己在家做種給我自己傳了屬于是。
然而垃圾佬的NAS的RAID硬盤盒相當不穩(wěn)定,讀寫一旦超過一定的強度就會掛陣列掉盤了現(xiàn)在是
結(jié)構(gòu)就是作為唯二的數(shù)據(jù)源這邊的速度一下子就慢下來了
還好垃圾佬預(yù)判了這破盒子的預(yù)判,可以直接用之前收來的2T和1.5T三星M9T的備份接著干。正好也可以測試一下這老破盤的穩(wěn)定性?,F(xiàn)在RAID0已經(jīng)不穩(wěn)了,垃圾佬必須用正經(jīng)1T盤作為NAS的移動數(shù)據(jù)盤了,還好現(xiàn)在CMR的1T雙碟2.5寸藍盤比如WD1000JPVX價格已經(jīng)穩(wěn)定在150包郵了,就算是7mm的WD10SPCX也很便宜。
所以整體來說撿垃圾在家組個圖吧NAS依然有充足的可行性和市場,并不是沒有前途,硬件上雖然J1900之類的工控機在漲價,但是同樣預(yù)算下X200加底座或者N3450的方案依然有效,WINNAS還是可以很容易的搭建。
如果將來測試M9T作為熱儲存掛NAS上也能可靠的話那不考慮成本其實就可以通過單U口2G這么擴容實現(xiàn)大容量NAS了,不過4*750G(1內(nèi)置黑盤+3外置藍盤)+1T(WD5000LPLX*2RAID0)這種配置就算不用M9T全員西數(shù)也有升級空間,USB全員1T藍盤可以動用4個或者5個U口(含內(nèi)置一個轉(zhuǎn)接前置兩個留備用數(shù)據(jù)連接3.5寸冷數(shù)據(jù)儲存盤或者手機和另一個U口給無線鍵鼠)留一個內(nèi)置黑盤750G也是相當可以的,SMB共享也好走BT也好現(xiàn)在的速度需求還可以滿足(千兆內(nèi)網(wǎng)卡百兆有線上了,雖然有升級300M無線但是還是不太夠,通過U口擴展千兆有線還會占用本機唯一一個USB3.0,至于USB2.0完全可以滿足現(xiàn)在的需求,反正垃圾佬的這套方案卡SMB協(xié)議上了速度也不會很快,至于外網(wǎng)則USB2.0更是夠用,目前還沒有比480Mbps更快的網(wǎng)速)。
而遠程傳輸大量文件在兩端網(wǎng)速能滿足需求的情況下還是有足夠多的服務(wù)商能滿足個人的中小體積大量文件的傳輸需求的(如果你非得傳100多G的文件當我沒說,除了BT外應(yīng)該沒幾個網(wǎng)盤能做得到),如果你想安全那么使用BT也是完全可以做到的,這都不是問題。
就這樣,謝謝朋友們!