本文提出了一种新方法，扩展概率积分电路以处理连续潜在变量，优化了大规模数据处理。实验结果表明新技术的有效性。
原文标题：【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
原文作者：数据派THU
冷月清谈：
本文探讨了在大规模情况下，概率积分电路（PICs）中的树状结构所带来的内存消耗问题，并提出了解决方案。PICs 是一种概念化的计算图，通过将连续潜在变量（LVs）作为函数层次结构进行定义，允许通过对这些变量进行积分来构建概率模型。尽管树状的 PICs 在已有研究中被探索，但大型数据集的处理仍然面临挑战。本研究提出三项创新：首先是从任意变量分解构建有向无环图（DAG）的流程，其次是基于张量化电路架构的训练方法，最后是神经功能共享技术的应用，以提高训练的可扩展性。通过广泛的实验，作者展示了功能共享的有效性，并论证了可解概率电路（QPCs）相较于传统概率电路（PCs）的显著优势。这一研究为数据科学领域于连续潜在变量模型的应用提供了新的思路与方法。
怜星夜思：
1、你认为连续潜在变量模型的应用前景如何？
2、如何看待张量化电路架构在模型训练中的作用？
3、功能共享技术在数据科学中应用的潜在挑战是什么？
2、如何看待张量化电路架构在模型训练中的作用？
3、功能共享技术在数据科学中应用的潜在挑战是什么？
原文内容
来源：专知本文约1000字，建议阅读5分钟
到目前为止，只有树状的 PICs 被探索过，而通过数值求积训练它们在大规模下需要大量内存处理。
概率积分电路（PICs）最近被提出作为一种概率模型，具备表达能力强的生成模型背后的关键要素：连续潜在变量（LVs）。PICs 是符号化的计算图，将连续 LV 模型定义为函数层次结构，这些函数通过相加和相乘，或者对某些 LV 进行积分而构成。如果可以解析地积分出 LV，则它们是可解的，否则可以通过称为 QPCs 的可解概率电路（PC）来近似，该电路编码了分层数值求积过程。到目前为止，只有树状的 PICs 被探索过，而通过数值求积训练它们在大规模下需要大量内存处理。本文中，我们解决了这些问题，并提出了：(i) 从任意变量分解构建有向无环图（DAG）形状的 PICs 的流程，(ii) 使用张量化电路架构训练 PICs 的方法，以及 (iii) 神经功能共享技术以实现可扩展的训练。在广泛的实验中，我们展示了功能共享的有效性以及 QPCs 相较于传统 PCs 的优越性。
