我补充一点，可以考虑使用一些正则化技术，例如 L1 或 L2 正则化，来约束模型的参数，从而降低模型对数值误差的敏感性。此外，还可以尝试使用一些更先进的数值计算库，例如 cuTENSOR，这些库通常会对半精度计算进行优化，并提供一些额外的数值稳定性保证。
这个思路太重要了！很多时候我们只关注算法层面，忽略了硬件的潜力。启发就是：要懂硬件！比如，了解你的 GPU 是 Ampere 还是 Hopper，它们的 Tensor Core 有什么区别，然后针对性地优化你的代码。可以使用 CUDA profiler 之类的工具，找到性能瓶颈，然后针对性地优化。
可以从数据本身入手。Normalization了解一下？把输入数据缩放到一个合适的范围，让数值不要太大，也不要太小，这样也能缓解数值不稳定的问题。不过这个方法可能需要根据具体的数据集进行调整，工作量可能会比较大。
【回答问题3】如果从学术贡献看，提速更容易被看见；但从系统价值看，稳定更重要。训练一个大模型的成本太高了，没人愿意为了那点理论加速去赌一次崩盘。很多团队最后宁愿选一个慢一点但预期稳定的方案，这点在工业界尤其明显。
【回应问题2】这基本已经是常态了。现在很多优化，不是单纯改一个公式就能落地，得看 GPU 架构、内存带宽、算子调度、混合精度策略能不能配合。论文里连对称矩阵的三角调度器都专门做了，说明“算法正确”只是第一步，“硬件上跑得值不值”才决定实际采用率。