从工程角度看，如果 Attention Residuals 真的能提升效率和性能，那肯定会吸引很多研究者和工程师跟进。说不定以后会出现各种 AttnRes 的变体，就像当年各种 ResNet 的变体一样，百花齐放。
我觉得说“里程碑”有点过了，但绝对是一个很有意思的探索方向。它提供了一种新的视角，让我们重新思考如何更好地利用模型的深度。未来的模型设计可能会更加注重动态连接和自适应权重，而不是简单地堆叠层。
【问题4】这事要真成了，感觉“别堆太深，容易废”这句老经验可能得改口。以前像盖楼，楼层太高电梯跟不上；现在相当于每层都能直接连到关键楼层，楼高未必就吃亏了。以后可能不是深和宽二选一，而是“深一点，再聪明一点”。
【答问题1】我反而觉得推理模型会很有看头。因为这类模型往往依赖多步计算、跨层组合能力，若某一层能直接回头调用更早的表示，而不是被中间层冲淡，理论上更适合做复杂推断。论文里数学和GPQA提升明显，也算一个信号。
【回答问题3】我第一反应就是：以后优化器是不是也要开始“翻聊天记录”了？以前 SGD/Adam 像是凭印象做决定，后面说不定能变成——‘等等，我看看 2000 步前那个梯度其实挺关键’。这听着有点离谱，但文章最后那个延伸其实挺敢想的。