伯克利博士论文提出深度学习推理效率全栈优化方法，涵盖模型量化、推理方法改进、架构优化及应用层改进。
原文标题：【伯克利博士论文】高效深度学习推理的全栈方法
原文作者：数据派THU
冷月清谈：
在模型优化方面，论文介绍了两种量化技术：I-BERT和SqueezeLLM。I-BERT采用仅整数量化，实现了高达3.5倍的推理加速，并支持在仅支持整数运算的硬件上部署Transformer模型。SqueezeLLM则采用极低位宽的权重量化，显著降低了内存需求，同时保证了LLM推理的精度。
在推理方法方面，论文提出了Big Little Decoder框架，通过小模型和大模型协作，以预测解码的方式加速自回归LLM推理，实现了最高2倍的加速。
在模型架构方面，论文提出了一种用于语音识别的Temporal U-Net结构，通过缩短输入序列长度来提高推理效率。
在应用层面，论文介绍了LLMCompiler框架，该框架通过有效地编排LLM应用中的多个函数调用，降低了执行延迟和成本，并提高了系统的鲁棒性。
怜星夜思：
2、Big Little Decoder框架是如何实现推理加速的？这种方法的局限性是什么？
3、除了论文中提到的方法，还有哪些技术可以提升深度学习推理效率？
原文内容
来源：专知本文约3000字，建议阅读5分钟
本论文介绍了旨在提高Transformer推理过程中计算和内存效率的量化技术。
人工智能技术的最新进展促使了模型规模的前所未有增长，特别是大型语言模型（LLMs）的出现。
虽然这些模型在多个领域展示了出色的能力，但它们的指数级扩展也带来了显著的推理时间开销，例如内存需求增加、延迟增加和计算成本上升，从而使高效的部署和服务变得具有挑战性。本文通过全栈方法应对这些挑战，旨在提升人工智能推理栈四个关键组件的效率：模型优化、推理方法、模型架构和应用。
在模型优化方面，我们引入了量化技术来优化推理时的计算和内存需求。
I-BERT通过采用仅整数量化来优化计算，这实现了最高3.5倍的延迟加速，并使Transformer架构能够在仅支持整数运算的硬件上部署。SqueezeLLM采用极低位宽的权重量化，有效降低了内存需求，同时在LLM推理过程中不牺牲精度。
在推理方法的优化方面，我们提出了Big Little Decoder框架，
这是一种通过小模型和大模型之间的协作加速自回归LLM推理的推测解码框架，能够实现最高2倍的加速。
关于模型架构，我们提出了一种高效的语音识别设计，采用了Temporal U-Net结构，
通过缩短输入序列长度来提高推理效率。
最后，在应用层面，我们引入了LLMCompiler，
这是一个高效编排LLM应用中多个函数调用的框架，通过将复杂的用户输入分解为更小、更易处理的任务，降低了执行延迟和成本，并提高了系统的鲁棒性。
这些贡献共同提供了一种全栈策略，用于优化人工智能模型推理，从低层次的系统到高层次的应用，推动了最先进AI解决方案的高效部署和服务。
然而，当前普遍采用的扩展模型规模的策略带来了显著的推理时间开销，导致在高效部署和服务最先进模型时面临挑战。例如，如图1.1所示，自2017年引入具有6500万个参数的Transformer架构[266]以来，模型规模呈指数级增长——每两年增长410倍——开启了大型语言模型（LLMs）时代，代表性模型如拥有1750亿参数的GPT-3和其他数十亿参数级的模型。这一增长远远超过了GPU内存的扩展，后者仅每两年翻倍。因此，模型规模的扩展不仅导致了巨大的内存需求，通常超过单个GPU的容量，还引发了延迟、能效和运行这些大型模型的计算成本等方面的挑战。
模型优化是通过减少模型规模并更有效地利用底层硬件资源（如计算和内存）来高效部署模型的一种关键方法。常见的技术包括量化，它通过使用低位精度（如8位）而非标准的32位或16位浮点数（即FP32或FP16）来压缩模型的权重和激活值，以及剪枝，它去除模型中不重要的权重。这些方法通常在模型架构设计和训练完成后应用，使得模型能够在显著降低计算和内存需求的同时保持相似的准确性，从而使模型更适用于资源受限的环境。
在第二章中，我们提出了I-BERT，这是一种通过利用仅整数量化来提高计算效率的方法。通过使用整数算术进行整个推理过程，I-BERT不仅实现了最高3.5倍的延迟加速，还使得Transformer模型能够在仅支持整数计算的硬件上部署。第三章介绍了SqueezeLLM，这是一种通过极低位宽权重量化优化LLM推理中内存效率的量化技术。由于内存操作通常在LLM的自回归生成任务中成为主要瓶颈，SqueezeLLM提供了一种精确的量化策略，通过降低位宽（例如3位或4位）来保持底层权重分布，从而显著降低内存需求，而不牺牲模型的准确性。
