文章探讨了量化神经网络在物联网与边缘应用中的能效与效能提升策略。
原文标题：【ETHZ博士论文】量化神经网络的敏捷高效推理
原文作者：数据派THU
冷月清谈：
随着物联网和深度学习技术的快速发展，智能感知系统亟需高效的算法和硬件优化。本文介绍了一种量化神经网络（QNNs）技术，旨在解决电池供电的物联网传感器在能量、内存和计算资源限制下的深度学习算法部署问题。QNNs通过低位宽整数格式表示模型参数，既减少了内存占用，又利用特定硬件提升推理效率。文章探讨了如何将全精度网络转换为可部署的纯整数量化模型，进一步分析了极端量化技术的潜力，并通过手势识别的实例展示了基于三值神经网络（TNNs）的最新成果。研究还有助于优化网络性能，提出了逐层混合精度量化的策略，以实现高效的端到端推理，最终在高精度和低延迟之间寻找最佳平衡。此研究不仅将极大推动物联网应用的发展，也为能源受限场景的智能设备提供了新的解决方案。
怜星夜思：
1、量化神经网络的实际应用场景有哪些？
2、极端量化技术有什么潜在风险？
3、如何评估QNNs对传统深度学习的优势？
2、极端量化技术有什么潜在风险？
3、如何评估QNNs对传统深度学习的优势？
原文内容
来源：专知本文为论文介绍，建议阅读5分钟
本文探索了如何从算法和硬件实现的角度，使用QNNs实现高能效的物联网和边缘应用。
物联网（IoT）的快速普及与由深度学习算法驱动的机器学习革命同时发生。在这些发展的交汇处，智能感知系统旨在集成感知、基于深度学习的捕获数据解释以及对处理结果的反应。由于电池供电的物联网传感器节点在电力、内存和计算资源方面受到严格限制，将深度学习算法部署在这些系统上需要在算法和硬件领域进行仔细的联合优化。量化神经网络（QNNs）使用低位宽整数格式来表示模型参数和中间结果。这不仅缩小了它们的内存和存储占用，而且通过利用专门用于低精度整数运算的硬件，可以优化推理的操作效率。
本文探索了如何从算法和硬件实现的角度，使用QNNs实现高能效的物联网和边缘应用。其关键贡献的共同点在于关注端到端应用，旨在评估QNNs在提高全系统效率方面的潜力。
为了高效评估不同量化策略对端到端应用能效的影响，我们首先提出了一种将全精度网络自动转换为可训练和可部署的纯整数量化对应物的方法。然后，我们探讨了极端量化（如三值神经网络，TNNs）的现实潜力。通过动态视觉传感器数据的端到端手势识别示例，我们展示了基于TNN的处理流水线在精度和能效方面的最新成果。接下来，我们提出了特定于TNN的RISC-V指令集架构（ISA）扩展，在硅面积和功耗几乎没有增加的情况下，使实际基准网络的吞吐量提高了40%。
虽然极端量化在能效提升方面最具潜力，但在更具挑战性的任务上会带来显著的精度损失。为了优化网络的统计性能和端到端推理能效之间的权衡，我们提出了一种方法，针对特定网络和硬件目标平台，找到延迟优化的逐层混合精度量化策略，在微控制器级平台上，在1000类ImageNet数据集上实现了与全精度等效的分类精度，同时端到端推理延迟降低了多达30%。
