探讨从小型DNN到LLMs，在训练、推理与测试阶段的AI软件调试与修复方法，提升AI模型可信度。
原文标题：【NTU博士论文】从小型深度神经网络到大型语言模型：构建可信 AI 的软件工程视角
原文作者：数据派THU
冷月清谈：
怜星夜思：
2、文章中提出了一种可解释的覆盖率标准，通过构建DNN的决策结构来实现。这种方法在实际应用中会遇到哪些挑战？如何克服这些挑战？
3、文章提到了FairThinking方法，通过动态生成多样化视角的提示来提升LLM推理的公平性。除了提示工程，还有哪些方法可以提升LLM的公平性？
原文内容
来源：专知本文约1000字，建议阅读5分钟本文从训练、推理与测试三个阶段出发，探讨从小型深度神经网络（DNNs）到 LLMs 的 AI 软件调试与修复方法。
随着人工智能（AI）软件在各个行业中日益普及，其可信性与可靠性问题日益成为关注焦点。尽管传统软件的可信性通常由软件工程（Software Engineering, SE）实践来规范，但由于传统软件开发与 AI 模型开发之间存在显著差异，这些 SE 实践尚未被有效整合到 AI 模型的开发过程中。受到这一现状的启发，我们旨在从软件工程的视角出发，系统性地规范 AI 开发流程，以提升其可信性。
具体而言，我们借鉴传统软件的监管方式，关注其三个关键阶段：开发、执行和测试。并将其映射至 AI 模型的三个对应阶段：训练（training）、推理（inference）与测试（testing）。这三个阶段对于确保 AI 模型的可信性和可靠性至关重要。本研究的目标是通过改进这三个阶段来提升 AI 模型的可信度。我们的主要方法借鉴传统软件调试与修复的理念，首先识别问题，再实施修复措施。
此外，大型语言模型（LLMs）正在重塑整个软件产业。因此，本文从训练、推理与测试三个阶段出发，探讨从小型深度神经网络（DNNs）到 LLMs 的 AI 软件调试与修复方法。
❶ 训练阶段：可信性问题与修复方法
我们首先关注模型在训练过程中产生可信性问题的原因。训练数据通常是引发问题的关键所在。针对数据层的调试，我们聚焦于社会影响较大的问题——公平性（fairness）。我们的目标是分析每个子群体（即具有相同敏感属性的一组数据）在训练过程中的贡献，进而揭示偏差的根源。
我们发现，不同子群体在训练中的贡献不均是造成不公平的主要因素。为此，我们提出一种基于梯度的度量方法，用于评估训练中子群体贡献的不均衡性，并据此进行修复，通过匹配各子群体的贡献来缓解不公平现象。
针对 LLMs，处理如版权侵权、数据投毒和个人敏感信息（PII）泄露等数据使用问题尤为重要。然而，若通过重构训练数据并重新训练模型来修复这些问题，可能会严重影响模型的标准性能。为解决这一问题，我们提出了一种简洁易实现的修复策略：将 LLM 与良性小语言模型（SLMs）进行集成。通过理论分析和实证实验，我们证实这种集成方法能有效缓解上述数据问题，同时保持 LLM 的性能不受影响。
❷ 推理阶段：可信性问题与修复方法
我们进一步探讨模型在推理阶段中出现可信性问题的原因。对于小型 DNNs，推理过程可视为神经元功能的组合，因此进行神经元级别的调试至关重要。我们受程序动态切片（dynamic slicing）分析与修复方法的启发，引入一种重要性驱动的神经元诊断方法（Importance-based Neuron Diagnosis），用于高效定位导致不公平结果的神经元。
基于上述方法，我们进一步提出了一个新颖的 DNN 公平性修复框架——RUNNER。该框架通过分析训练中每个敏感子群体的梯度贡献差异，识别偏差源，并通过结构调整修复模型的公平性。
对于 LLMs，我们从提示（prompting）机制的角度分析其推理阶段的不公平性问题。为此，我们提出了 FairThinking方法，在推理过程中动态生成多样化视角的提示，从而引导模型输出更公平的表达，实现推理时公平性的修复。
❸ 测试阶段：可信性评估与测试充分性
尽管 AI 模型通常经过训练-验证-测试划分来评估性能，但研究表明，这种基于现有测试集的评估方式可能高估模型性能，无法暴露模型中潜藏的问题。因此，评估测试数据的充分性（test adequacy）成为关键，尤其是测试覆盖率（test coverage）。
我们提出了一种可解释的覆盖率标准，通过构建 DNN 的决策结构来实现。这一结构类似于传统编程中的控制流图（CFG），我们从模型的解释性出发构造出决策图（decision graph），其中的每条路径代表模型的一种独特决策逻辑。基于该图的控制流与数据流信息，我们设计了两种路径覆盖变体，用于衡量测试用例对模型决策逻辑的覆盖程度。
此外，我们还在探索这些覆盖标准是否可扩展应用于 LLMs，以进一步增强其测试与验证机制。
