ARO优化器：微软提出新矩阵优化视角，训练提速显著

AI资讯
21

我猜想可以从两个方向入手：一是优化旋转本身的计算，比如用更高效的线性代数库，或者设计近似的旋转方法；二是减少旋转的频率，比如每隔几个step才进行一次旋转更新。关键是要找到计算效率和优化效果之间的平衡。