Hugging Face Hub 是強大的機器學習的數(shù)據(jù)源。相信大家在國內(nèi)用 Hugging Face Datasets 都遇到過下載的問題。譬如:

? 結(jié)果下載到一半:?

?? 到昨天為止，我的方法還是重新啟動下載腳本或者提前把數(shù)據(jù)放到本地……直到昨天要下載一個大的數(shù)據(jù)集，實在受不了 ??。于是去看了一下文檔: https://hf.co/docs/datasets/v2.13.1/en/package_reference/builder_classes#datasets.DownloadConfig

?? 于是我打開了新世界的大門:

?? 再也不用擔心下載不了數(shù)據(jù)集啦！

?? PS: 目前還有不少上傳下載的問題沒有解決:

• 初始化數(shù)據(jù)集下載是容易?ConnectionError，這個可能需要調(diào)節(jié)?timeout?或者使用特殊上網(wǎng)方式

• push_to_hub?沒有斷點續(xù)存和 retry 的機制

如果大家有什么更好的解決方案，歡迎交流 :)