6. 權(quán)重稀疏化(weight sparsification)：通過對網(wǎng)絡(luò)權(quán)重引入稀疏性約束，可以大幅度降低網(wǎng)絡(luò)權(quán)重中的非零元素個(gè)數(shù);壓縮后模型的網(wǎng)絡(luò)權(quán)重可以以稀疏矩陣的形式進(jìn)行存儲(chǔ)和傳輸，從而實(shí)現(xiàn)模型壓縮。

7. 權(quán)重量化(weight quantization)：通過對網(wǎng)絡(luò)權(quán)重引入量化約束，可以降低用于表示每個(gè)網(wǎng)絡(luò)權(quán)重所需的比特?cái)?shù);我們同時(shí)提供了對于均勻和非均勻兩大類量化算法的支持，可以充分利用ARM和FPGA等設(shè)備的硬件優(yōu)化，以提升移動(dòng)端的計(jì)算效率，并為未來的神經(jīng)網(wǎng)絡(luò)芯片設(shè)計(jì)提供軟件支持。

8. 網(wǎng)絡(luò)蒸餾(network distillation)：對于上述各種模型壓縮組件，通過將未壓縮的原始模型的輸出作為額外的監(jiān)督信息，指導(dǎo)壓縮后模型的訓(xùn)練，在壓縮/加速倍數(shù)不變的前提下均可以獲得0.5%-2.0%不等的精度提升。