牛津博士论文探讨了用概率模型改进半监督学习，提出GBDL、NP-Match和NP-SemiSeg等方法，提高了准确性和不确定性估计。
原文标题：【牛津大学博士论文】探索用于半监督学习的概率模型
原文作者：数据派THU
冷月清谈：
论文指出，当前大多数SSL方法是确定性的，缺乏概率模型带来的不确定性估计。而不确定性估计在实际应用中至关重要，尤其是在医学图像分析等关键领域，它能帮助人们了解模型的局限性，避免潜在的错误预测。
作者提出了一个名为生成贝叶斯深度学习（GBDL）的概率框架，用于半监督医学图像分割，该框架基于蒙特卡洛dropout，可以有效缓解过拟合问题。此外，由于MC dropout的局限性，作者又提出了NP-Match，一种用于大规模半监督图像分类的概率方法，以及NP-SemiSeg，一种用于半监督语义分割的概率方法。实验结果表明，NP-Match和NP-SemiSeg在准确性、不确定性量化和速度方面都优于基于MC dropout的方法。
怜星夜思：
2、NP-Match和NP-SemiSeg相比MC dropout的优势是什么？除了速度和准确性，还有什么其他优点？
3、如何理解“未标注数据中的潜在伪标签错误”？它对模型训练有什么影响？
原文内容
来源：专知本文为论文介绍，建议阅读5分钟
本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。
深度神经网络因其强大的性能，越来越多地应用于计算机视觉任务。然而，它们的训练需要大规模的标注数据集，而这些数据集的准备工作耗时费力。半监督学习（SSL）通过结合标注数据和未标注数据进行学习，提供了一种解决方案。
虽然大多数最先进的SSL方法采用确定性方法，但对其概率模型的探索仍然有限。研究这一领域非常重要，因为概率模型可以提供不确定性估计，这在实际应用中至关重要。例如，由于未标注数据中的潜在伪标签错误，SSL训练的模型可能不如监督学习训练的模型，且这些模型在实践中更容易做出错误预测。特别是在医学图像分析和自动驾驶等关键领域，决策者必须了解模型的局限性以及何时可能出现错误预测，这些洞察通常由不确定性估计提供。此外，当使用未标注样本进行训练时，不确定性还可以作为过滤不可靠伪标签的标准，从而有可能提高深度模型的性能。
本论文进一步探索了SSL的概率模型。借助广泛使用的贝叶斯近似工具——蒙特卡洛（MC） dropout，我提出了一种新的概率框架，即生成贝叶斯深度学习（GBDL）架构，用于半监督医学图像分割。这种方法不仅缓解了以往方法中潜在的过拟合问题，而且在四项评估指标上都取得了优异的结果。与其经验设计的前辈不同，GBDL以完整的贝叶斯公式为基础，提供了理论上的概率基础。
鉴于MC dropout的局限性，我引入了NP-Match，这是一种用于大规模半监督图像分类的新概率方法。我们通过在不同挑战性环境下（如标准、不平衡和多标签半监督图像分类）的大量实验，评估了NP-Match的泛化能力。实验结果表明，NP-Match不仅与先前最先进的方法竞争力强，而且比基于MC dropout的模型更快地估计不确定性，从而提高了训练和测试的效率。
最后，我提出了NP-SemiSeg，一种用于半监督语义分割的新概率模型。这个灵活的模型可以与各种现有分割框架集成，以进行预测和估计不确定性。实验表明，NP-SemiSeg在准确性、不确定性量化和速度方面都优于MC dropout。
