部署肯定会遇到实际问题。比如，硬件兼容性、推理内核优化、量化带来的精度损失等等。解决这些问题，可能需要针对不同的硬件平台进行优化，选择合适的推理框架，并根据实际情况调整量化策略。另外，别忘了做充分的 benchmark 测试，才能找到最佳的部署方案。
部署这种低比特量化模型，最怕的就是水土不服。理论上说，能省显存、能加速，但实际跑起来，可能各种幺蛾子。所以，一定要做好充分的测试，各种 corner case 都要考虑到。另外，要和硬件厂商紧密合作，才能把性能榨干。
部署肯定会遇到实际问题。比如，硬件兼容性、推理内核优化、量化带来的精度损失等等。解决这些问题，可能需要针对不同的硬件平台进行优化，选择合适的推理框架，并根据实际情况调整量化策略。另外，别忘了做充分的 benchmark 测试，才能找到最佳的部署方案。
部署这种低比特量化模型，最怕的就是水土不服。理论上说，能省显存、能加速，但实际跑起来，可能各种幺蛾子。所以，一定要做好充分的测试，各种 corner case 都要考虑到。另外，要和硬件厂商紧密合作，才能把性能榨干。