可以借鉴 Transformer 中的 attention 机制，让模型在每一帧的生成过程中，不仅关注前序帧，还能关注更远的历史帧，甚至是全局特征。这样可以增强模型对长期依赖关系的建模能力，从而减少误差积累。
我觉得把目光局限在硬件上就狭隘了。算法层面上的优化，比如设计更高效的内存访问模式，减少不必要的数据拷贝，也能有效缓解内存带宽的压力。结合软硬件协同设计或许才是王道。
问题：文章提到了 Sink-token 和动作感知的加噪机制，这两种方法分别解决了什么问题？如果让你设计一种新的算法来提高视频生成的时间一致性，你会考虑哪些因素？
我觉得可以从损失函数的角度入手。目前的视频生成模型，可能更多关注了单帧的生成质量，而忽略了帧与帧之间的一致性。可以设计一种新的损失函数，同时考虑生成帧的质量和相邻帧之间的时间一致性。例如，可以增加一个时间一致性损失项，惩罚相邻帧之间内容或风格的突变。当然，如何平衡生成质量和时间一致性，需要仔细研究。
别忘了还有数据！用更多样化的视频数据进行训练，特别是包含长时间序列和复杂动作的数据，也能提升模型的泛化能力，减少时序漂移。另外，调整损失函数，比如加入时序一致性损失，也能引导模型更好地学习时序关系。我觉得数据和模型结构同等重要，不能只关注算法层面的优化。
Sink-token 这招挺巧妙的，我理解是把早期生成质量高的帧的 KV Cache 固定下来，作为锚点来稳定后续生成。但时间一长，感觉还是会有漂移风险。其他思路，我觉着可以试试引入外部参考，比如让用户可以实时调整prompt，或者加入一些关键帧作为参考，强制模型向期望的方向靠拢。另外，对抗训练，专门训练一个判别器来判断生成视频的时序一致性，也能提升模型的鲁棒性。