最美情侣中文字幕电影,在线麻豆精品传媒,在线网站高清黄,久久黄色视频

歡迎光臨散文網(wǎng) 會(huì)員登陸 & 注冊(cè)

使用 coding.net 的制品庫(kù)加快 Colab 文件中轉(zhuǎn)速度

2022-09-24 17:31 作者:陌辭寒  | 我要投稿

Colab(https://colab.research.google.com/)是一個(gè)可以免費(fèi)使用?GPU 的算力平臺(tái),同時(shí)又可以當(dāng)一臺(tái) Linux 虛擬機(jī)在線使用,非常方便。但對(duì)國(guó)內(nèi)用戶來(lái)說很不友好,訪問需要用代理不說,即使用代理,文件的上傳和下載的速度依然比較慢,可能時(shí)間大部分浪費(fèi)在文件中轉(zhuǎn)上了。如果不解決這個(gè)問題,體驗(yàn)還是比較差的。

使用一個(gè)中間平臺(tái)用于中轉(zhuǎn)文件是一個(gè)可行的辦法,但適合并且免費(fèi)的平臺(tái)并不多。首先要保證國(guó)內(nèi)的上傳下載速度,還要考慮容量和流量,使用起來(lái)還要比較方便(最好不需要安裝額外軟件或庫(kù)),一篩選能用的就不多了。

我之前試用或者考慮過的一些備選:

  1. Google Drive。Google 官方的,免費(fèi)版 15G 空間。在 Colab 里下載文件(用 gdown 命令)很方便,速度極快(幾百兆一瞬間就好了)。但上傳文件需要先掛載?Google Drive,手動(dòng)確認(rèn)權(quán)限比較煩。也可以用其他方式上傳文件,但需要安裝些東西,不大方便。在本地上傳下載文件也有相關(guān)工具,但也需要安裝。最大的問題在于國(guó)內(nèi)不能直接訪問,用代理的話速度很可能不快,提速效果不好,只適用于部分場(chǎng)景(比如上傳頻率低、使用頻率高并且數(shù)據(jù)量較大的場(chǎng)景)。

  2. OneDrive。微軟出品,免費(fèi)版 5G 空間。我試了下本地的上傳下載的速度都可以,但在 Colab 里上傳下載文件就需要安裝些東西了,不大方便(而且每次都安裝也浪費(fèi)時(shí)間),另外不好控制權(quán)限(OneDrive 里可能有自己的私人文件)。動(dòng)手能力強(qiáng)的話可以試試。如果不想每次安裝(或者每次都復(fù)制大片代碼),可以把安裝好的工具打包放到 Google?Drive(需要注意權(quán)限),這樣能方便一些。

  3. 堅(jiān)果云。支持 WebDAV,上傳、下載文件很方便,不需要額外安裝軟件,速度也可以。但每個(gè)月只能用 1G 上傳流量和 3G 下載流量,可能不大夠用。另外不支持控制權(quán)限。

  4. GitHub。可以通過一些方法讓 GitHub 滿足這個(gè)需求,但只要不是把數(shù)據(jù)直接提交到 git(不合適,包括 git lfs),多少都得折騰下,如果要考慮權(quán)限更麻煩。最大的問題還是國(guó)內(nèi)的訪問速度,可能自身都需要加速。

  5. 一些其他的國(guó)外網(wǎng)盤平臺(tái),比如?Dropbox,國(guó)內(nèi)訪問速度都是最大的問題,如果自己的代理好可以試試(那樣的話可能用 Google?Drive 就行了)。

  6. 一些國(guó)內(nèi)外的分享文件的平臺(tái),一般都是上傳一個(gè)文件后可以獲得一個(gè)隨機(jī)鏈接。存在幾個(gè)問題,一是國(guó)內(nèi)訪問速度很可能也不快(多是國(guó)外平臺(tái));二是不提供接口(某些國(guó)內(nèi)平臺(tái)),很難在命令里調(diào)用;三是不能在上傳文件前得到下載地址(很多平臺(tái)),不好和 Colab 聯(lián)動(dòng)。所以這類平臺(tái)很難滿足需求。

  7. 虛擬主機(jī)。便宜的一年幾十,空間從幾百 M 到 幾 G。功能上沒問題,但可能沒必要為了這個(gè)花錢。

后來(lái)我發(fā)現(xiàn)?coding.net 的制品庫(kù)非常適合這個(gè)場(chǎng)景,免費(fèi)版有 5G 空間,每個(gè)月 20G 流量,速度不錯(cuò)??梢灾苯佑?curl 上傳、下載和刪除文件(和 WebDAV 的接口一樣),還可以控制權(quán)限,支持文件版本,足以滿足輕度的需求。

初始化

coding.net(https://coding.net)是一個(gè)類似 Github 的代碼托管平臺(tái),注冊(cè)很方便。登錄后創(chuàng)建一個(gè)項(xiàng)目,然后進(jìn)“項(xiàng)目設(shè)置”-“菜單管理”,把“制品管理”打開。

接下來(lái)進(jìn)入該項(xiàng)目的“制品管理”頁(yè)面,點(diǎn)右上角“創(chuàng)建制品倉(cāng)庫(kù)”,選“Generic”(第一個(gè)),下邊填寫名稱,選擇權(quán)限(省事的話可以選“公開”,在意安全的話可以選“項(xiàng)目?jī)?nèi)”),其他選項(xiàng)根據(jù)直接需求選,然后點(diǎn)“確認(rèn)”即可。

現(xiàn)在就可以用了。

使用

1. 上傳文件

可以直接在頁(yè)面點(diǎn)“上傳制品”上傳文件(需要注意不支持中文文件名,下邊的命令也不支持):

但用命令上傳更方便,點(diǎn)“操作指引”可以查看幫助。

進(jìn)去后需要先生成一個(gè)個(gè)人令牌:

相當(dāng)于提供一對(duì)專用的用戶名和口令,提升安全性(權(quán)限小,泄露后可以直接刪除)。生成后,下邊提示可以把配置寫到 ~/.netrc 文件中,這個(gè)也方便不了多少(畢竟不大可能每次都敲命令,可以封裝成腳本,或者直接復(fù)制粘貼),也許能提高一點(diǎn)安全性(也可能降低)。

然后就可以上傳文件了。點(diǎn)“推送”后可以填寫信息來(lái)獲得上傳文件的命令,但沒必要用這個(gè)界面,命令是很好寫的,只需要把下邊的命令復(fù)制過來(lái)改改就可以了。

可以指定版本號(hào)(感覺用于中轉(zhuǎn)文件的話沒必要指定,直接把版本號(hào)放文件名里就行),不指定的話就是 latest。上傳的文件會(huì)覆蓋掉已有的同名文件。

注意這個(gè)命令既可以在本地運(yùn)行,也可以在 Colab 上運(yùn)行,用來(lái)把運(yùn)行結(jié)果傳上來(lái)然后自己再下載到本地,速度會(huì)快很多。而且不需要安裝任何東西,非常方便,下邊的下載和刪除也一樣。

2. 下載文件

和上傳文件類似,下載文件的命令:

如果之前設(shè)置的權(quán)限是“公開”,那么下載就不需要填寫用戶名和口令了。如果設(shè)置了版本號(hào),可以在鏈接最后加上版本號(hào),默認(rèn)是 latest。

3. 刪除文件

刪除文件也類似:

4. 列出所有文件

這個(gè)要麻煩一些,如果之前設(shè)置的權(quán)限是“公開”,可以通過這個(gè)接口獲取:

如果權(quán)限不是“公開”,就需要自己去找登錄的方法了。不過可以自己在上傳或者下載文件時(shí),順便更新一個(gè)列表文件,這樣只需要查看這個(gè)文件就行了。

有這幾個(gè)功能就可以了,一般中轉(zhuǎn)文件也沒有類似重命名的更多需求。另外如果不想覆蓋文件,可以把“禁止覆蓋版本”的選項(xiàng)打開。

和 Colab 聯(lián)動(dòng)

本地和 Colab 上都可以上傳、下載、刪除文件,想怎么操作就隨意了??赡苡龅降膯栴}就是等待了,比如本地上傳了一個(gè)文件,然后 Colab 運(yùn)行完后上傳了結(jié)果,本地怎么判斷結(jié)果已經(jīng)生成好了呢?

最簡(jiǎn)單的方法就是輪詢了,先確保沒有同名的文件,然后每隔幾秒下載一次,如果下載成功了就完成了。完整的協(xié)作過程像這樣:

如果數(shù)據(jù)比較復(fù)雜,也可以搞多輪交互,甚至本地也分擔(dān)一定的工作量,不再需要手動(dòng)干預(yù)。

使用 coding.net 的制品庫(kù)加快 Colab 文件中轉(zhuǎn)速度的評(píng)論 (共 條)

分享到微博請(qǐng)遵守國(guó)家法律
通江县| 丹江口市| 城步| 涡阳县| 双辽市| 永修县| 鹤庆县| 仲巴县| 永福县| 屯昌县| 嘉黎县| 仁怀市| 仙居县| 宜阳县| 黄冈市| 米泉市| 保山市| 余干县| 塔河县| 道真| 镶黄旗| 杭锦旗| 新邵县| 高雄市| 汉源县| 辽阳县| 察隅县| 靖边县| 满洲里市| 汶上县| 黄龙县| 德庆县| 化德县| 岑巩县| 湖州市| 渭南市| 辛集市| 即墨市| 贵溪市| 霍林郭勒市| 卓尼县|