小象學院《LeetCode算法刷題》
9. 多GPU訓練(multi-GPU training):深度學習模型訓練過程對計算資源要求較高,單個GPU難以在短時間內(nèi)完成模型訓練,因此我們提供了對于多機多卡分布式訓練的全面支持,以加快使用者的開發(fā)流程。無論是基于ImageNet數(shù)據(jù)的Resnet-50圖像分類模型還是基于WMT14數(shù)據(jù)的Transformer機器翻譯模型,均可以在一個小時內(nèi)訓練完畢。
10. 超參數(shù)優(yōu)化(hyper-parameter optimization)部分可以通過強化學習或者AutoML,在整體壓縮率一定的情況下,搜索出每一層最合適的壓縮比例使得整體的精度最高。多數(shù)開發(fā)者對模型壓縮算法往往了解較少,調(diào)節(jié)壓縮算法參數(shù)需要長期的學習和實驗才能有所經(jīng)驗, 但超參數(shù)取值對最終結(jié)果往往有著巨大的影。
標簽: