GDeR是一种动态软剪枝方法，通过可训练原型动态更新训练数据，显著提升效率与鲁棒性。
原文标题：【NeurIPS2024】GDeR: 通过原型图剪枝保障效率、平衡性与鲁棒性
原文作者：数据派THU
冷月清谈：
本文介绍了一种新型动态软剪枝方法——GDeR，其核心在于通过可训练的原型在训练过程中动态更新训练数据子集。随着深度学习模型对数据需求的增加，传统裁剪方法在数据不平衡和模式偏差时往往表现不佳。GDeR旨在解决这一问题，通过构建图嵌入超球体来选择具有代表性、平衡且无偏的样本，最终实现图训练调试。在五个数据集和三种图神经网络的实验中，GDeR表现出高达50%的训练样本减少，最大2.81倍的无损训练加速效果，并在不平衡数据和噪声问题中性能提升显著。该方法为解决图神经网络在处理大规模不平衡数据时的困难提供了新的思路。
怜星夜思：
1、GDeR方法与传统数据剪枝方法相比，有哪些显著优势？
2、在实际应用中，GDeR如何影响深度学习模型的训练效率？
3、GDeR的实现对未来数据科学研究的启示是什么？
2、在实际应用中，GDeR如何影响深度学习模型的训练效率？
3、GDeR的实现对未来数据科学研究的启示是什么？
原文内容
来源：专知本文约1000字，建议阅读5分钟
我们提出了一种新的动态软剪枝方法——GDeR，该方法通过可训练的原型在训练过程中动态更新训练“篮子”。
训练高质量的深度模型需要大量的数据，这会导致巨大的计算和内存需求。近年来，数据剪枝、蒸馏和核心集选择等方法被开发出来，以通过保留、合成或从完整数据集中选择一个小而信息丰富的子集来简化数据量。在这些方法中，数据剪枝带来的额外训练成本最低，并提供了最实际的加速效果。然而，它也是最脆弱的，往往在数据不平衡或数据模式偏差的情况下遭遇显著的性能下降，因此在设备端部署时，其准确性和可靠性引发了担忧。因此，迫切需要一种新的数据剪枝范式，既能保持现有方法的效率，又能确保平衡性和鲁棒性。与计算机视觉和自然语言处理领域中已开发出成熟的解决方案不同，图神经网络（GNN）在应对日益大规模、不平衡和噪声数据集时仍面临挑战，缺乏统一的数据集剪枝解决方案。
为此，我们提出了一种新的动态软剪枝方法——GDeR，该方法通过可训练的原型在训练过程中动态更新训练“篮子”。GDeR首先构建一个经过良好建模的图嵌入超球体，然后从该嵌入空间中抽取具有代表性、平衡且无偏的子集，达到我们所称的图训练调试（Graph Training Debugging）目标。在五个数据集和三个GNN骨干网络上的广泛实验表明，GDeR (I) 在减少30%至50%的训练样本的情况下，仍能达到或超越完整数据集的性能；(II) 实现了最高2.81倍的无损训练加速；(III) 在不平衡训练和噪声训练场景中，比最新的剪枝方法分别提高了0.3%至4.3%和3.6%至7.8%的性能提升。源代码可在https://github.com/ins1stenc3/GDeR获取。
