1. 線性或非線性量化：1/2bits, int8 和 fp16等；

2. Op-level的快速算法：FFT Conv2d (7x7, 9x9), Winograd Conv2d (3x3, 5x5) 等；

3. Layer-level的快速算法：Sparse-block net [1] 等；

4. 優(yōu)化工具與庫(kù)：TensorRT (Nvidia), Tensor Comprehension (Facebook) 和 Distiller (Intel) 等；

5. 通道剪枝(channel pruning)：結(jié)構(gòu)或非結(jié)構(gòu)剪枝：deep compression, channel pruning 和 network slimming等； 在CNN網(wǎng)絡(luò)中，通過對(duì)特征圖中的通道維度進(jìn)行剪枝，可以同時(shí)降低模型大小和計(jì)算復(fù)雜度，并且壓縮后的模型可以直接基于現(xiàn)有的深度學(xué)習(xí)框架進(jìn)行部署。