通往开放世界AI之路：NYU博士论文揭示三大关键学习原则

AI资讯
1

面向开放世界AI：NYU博士论文提出丰富特征、解耦表示和推理时学习三大原则，为构建更通用AI指明方向。

原文标题：【NYU博士论文】面向开放世界的人工智能：学习原则

原文作者：数据派THU

冷月清谈：

这篇纽约大学的博士论文探讨了如何构建能够应对开放世界挑战的人工智能系统。论文指出，过去在封闭环境中取得成功的AI方法难以直接应用于开放世界，因为开放世界任务缺乏明确的成功标准和充足的示例数据。为了构建开放世界AI，论文提出了三个关键的学习原则：

1. **丰富特征：** 类似于拥有一个庞大的工具箱，为AI提供多样化的工具来应对各种任务。
2. **解耦表示：** 类似于一个井然有序的工具箱，帮助AI更好地组织和理解信息，从而更有效地利用这些信息。
3. **推理时学习：** 类似于一只灵活运用工具的手，使AI能够根据当前情境选择和应用合适的工具和知识。

论文进一步提出了利用这些原则的创新方法，并通过大规模实验验证了其有效性。这项研究为构建更通用、更智能的AI系统提供了重要的理论指导和实践参考。

怜星夜思：

1、论文中提到的“开放世界AI”与我们日常使用的AI助手（如Siri、小爱同学）有什么本质区别？它们分别擅长什么？
2、论文中提到的“丰富特征”、“解耦表示”、“推理时学习”这三个原则，你认为哪个是最重要的，为什么？如果只能实现其中一个，你会选择哪个？
3、“开放世界AI”的最终形态会是什么样子的？它会对我们的生活产生哪些颠覆性的影响？

原文内容

来源：专知

        本文约1000字，建议阅读5分钟

        本论文探索了构建开放世界 AI 所需的重要学习原则，包括丰富特征、解耦表示以及推理时学习。


在过去的几十年里，人工智能（AI）在“特定能力”（即封闭世界，如人工环境或特定现实任务）上取得了诸多成功。这种定义明确的狭窄能力带来了两个显著优势：一是有清晰的成功标准，二是有机会收集大量示例数据。成功标准不仅可以判断机器是否完成了目标，还能揭示机器未达成目标的具体原因。因此，人类设计者可以逐一修复问题，直到机器在特定任务上表现得足够好。进一步来说，大量收集的示例数据也降低了修复问题的难度（依据中心极限定理）。

那么，封闭世界中的成功能否迁移到广阔的开放世界呢？在开放世界中，机器需要以更少的示例和更少的人类先验知识（如图灵测试所要求）完成任何人类可能执行的任务。答案是否定的。因为在特定任务中获得的能力对处理其他任务几乎没有帮助，针对特定任务制定的有价值标准在面对更广泛、未知的任务时也无能为力。此外，由于在未知任务中缺乏充足的示例数据，中心极限定理无法为我们提供支持。最终，人类设计者也失去了“调试仪”，无法通过不断修补来“破解”开放世界中的 AI 系统。

要实现面向开放世界的 AI，需要不同于构建封闭世界 AI 的独特学习原则和创新技术。本论文探索了构建开放世界 AI 所需的重要学习原则，包括丰富特征（类比为一套庞大的工具箱）、解耦表示（类比为一套井然有序的工具箱）以及推理时学习（类比为一只灵活运用工具的手）。在这些学习原则的指导下，论文进一步提出了利用这些原则的创新方法，并进行了大量大规模实验以验证这些学习原则的有效性。

关键词—— 开放世界 AI、丰富特征、预测性解耦、推理时学习、分布外问题、上下文学习、基于记忆的模型、记忆拼图（v2）。


关于我们

数据派THU作为数据科学类公众号，背靠清华大学大数据研究中心，分享前沿数据科学与大数据技术创新研究动态、持续传播数据科学知识，努力建设数据人才聚集平台、打造中国大数据最强集团军。



图片
图片1080×564 45.8 KB


新浪微博：@数据派THU

微信视频号：数据派THU

今日头条：数据派THU


2

个人认为“解耦表示”最为重要。信息爆炸时代，有效组织和管理知识至关重要。解耦表示能够帮助AI更好地理解和利用信息，过滤掉冗余和噪声，从而提高学习效率和泛化能力。这就像整理一个混乱的房间，只有把东西都归类放好，才能找到需要的东西并加以利用。

3

我比较悲观一些。虽然开放世界AI前景广阔，但要实现真正的通用人工智能，还有很长的路要走。我认为，即使实现了开放世界AI，也可能只是在某些特定领域超越人类，很难完全模拟人类的创造力和情感。它可能会取代一些重复性工作，但也可能加剧社会不平等。我们需要提前思考如何应对这些挑战。

4

我觉得“开放世界AI”会逐渐渗透到我们生活的方方面面，但我们可能不会意识到它的存在。就像电力一样，它会成为一种基础设施，默默地支撑着我们的生活。比如，智能家居系统会根据你的习惯自动调节温度和光线，自动驾驶汽车会安全地把你送到目的地，智能助理会帮你处理各种琐事。它会极大地提高我们的生活质量和效率，但也可能让我们变得更加依赖技术。

5

我觉得最终形态的开放世界AI会像《Her》里的Samantha，能理解你的情感，提供个性化的建议，甚至成为你的朋友。它会对教育、医疗、科研等领域产生颠覆性影响，比如个性化学习方案、精准医疗、加速新药研发等等。当然，也可能带来一些伦理和社会问题，比如失业、隐私泄露等等。但总体来说，我对开放世界AI的未来充满期待。

6

开放世界AI和我们日常用的AI助手区别大了。Siri、小爱这些更像“专家”，在特定领域训练有素，比如语音识别、信息查询。但面对没见过的问题就歇菜了。开放世界AI的目标是成为“通才”，像人一样能学习、适应新环境，处理各种未知任务。前者是精细化分工，后者是全栈工程师的味道。

7

从我的理解来看，主要区别在于泛化能力和适应性。Siri、小爱同学等AI助手，本质上是“封闭世界”的产物，它们在预先设定的任务范围内表现出色，但一旦超出这个范围，性能就会急剧下降。开放世界AI则强调在未知、动态的环境中自主学习和解决问题的能力。可以理解为，前者是“专才”，后者是“通才”。

8

我觉得“推理时学习”是最关键的。丰富特征和解耦表示是基础，提供了足够的知识储备和组织方式，但最终要把这些知识应用到实际问题中，需要强大的推理和学习能力。没有“推理时学习”，再多的特征和再好的表示也只是摆设。如果只能选一个，我会选“推理时学习”，因为它代表了AI的真正智能和适应性。

9

谢邀，简单来说，Siri它们是“投喂式”AI，喂多少数据学会多少技能。开放世界AI更强调自主探索和学习，通过少量样本甚至零样本学习来适应新任务。打个比方，Siri是擅长背诵课文的学生，开放世界AI是能举一反三的学霸。

10

如果只能选一个，我选“丰富特征”。巧妇难为无米之炊，再好的算法也需要足够的数据和信息来支撑。没有丰富的特征，AI就缺乏足够的“原材料”来进行学习和推理。当然，丰富特征也需要有效的管理和利用，这就涉及到解耦表示和推理时学习。但从根本上讲，数据是AI的基石。