技术标签： 神经网络压缩

深度神经网络压缩技术及应用

深度神经网络通常会导致大量计算和存储资源的消耗，阻碍其在移动和嵌入式设备上的部署。因此，降低深度神经网络的计算和存储资源消耗，成为深度学习落地应用的重要问题之一。本次演讲中，我们将首先回顾深度神经网络压缩和加速领域的经典工作，然后介绍我们实验室在这一领域的研究工作，包括：（1）卷积神经网络的剪枝； (2) 压缩特定任务的神经网络，例如人脸识别、风格迁移和超分辨率网络等； (3) Transformer网络的压缩；（4）Transformer与CNN的协同知识蒸馏。在大模型时代，深度神经网络压缩和加速领域的机遇和挑战在哪里？我们也会对以上问题进行启发式的探讨。

神经网络压缩