LLM进化新思路：Lluminate算法让AI学会创新

AI资讯
1

新算法Lluminate让LLM学会“进化”，创造力暴增！结合进化计算与创造性思维，显著提升LLM生成结果的新颖性。项目地址：https://github.com/joel-simon/lluminate

原文标题：一个算法让LLM创新能力暴增，原来是AI学会了进化

原文作者：机器之心

冷月清谈：

一篇介绍名为Lluminate的算法的文章，该算法通过结合进化计算原理与大型语言模型，显著提升了LLM的创新能力。Lluminate算法的核心在于将进化方法与创造性思维策略相融合，通过摘要生成、创意策略注入、进化运算符、嵌入和新颖性计算以及种群管理等步骤，实现对隐含创造空间的开放式探索。实验结果表明，与基线输出相比，Lluminate算法显著提高LLM生成结果的新颖性，尤其是在纹理动画和网站设计等领域。该研究还发现，修改现有artifact比从头开始创建新artifact能产生更具多样性的结果，且不同创造性策略在不同领域效果不同。此外，交叉组合和上下文意识对于提升新颖性也至关重要。

怜星夜思：

1、文章中提到“变化胜过创造”，修改现有artifact比从头开始生成新artifact产生的结果更加多样化。你觉得这个结论在其他AI应用领域是否也适用？为什么？
2、文章提到多种创意策略，如“替换模板”、“概念混合”等，你认为哪种策略最容易被人类借鉴，并应用到日常工作或生活中？请举例说明。
3、Lluminate算法强调上下文意识的重要性，通过种群摘要来提高性能。你认为在人类的学习和创造过程中，上下文意识有多重要？请结合你自身的经验谈谈。

原文内容

机器之心报道

编辑：Panda

如果你让当今的 LLM 给你生成一个创意时钟设计，使用提示词「a creative time display」，它可能会给出这样的结果：

图片

或许我们能在其中看到一些创新点，但整体来说这些设计并无特别出彩之处，依然还在预期之内。

但近日的一项研究成果却可以让 LLM 设计出下面这些让人眼前一亮的时钟，而使用的提示词却和上面的一样：

图片

图片

这是怎么做到的呢？简而言之：一种基于 LLM 的进化算法。

这种算法名为 Lluminate，来自洛克菲勒大学生物信息学研究者、生成式设计公司 Morphogen 创始人 Joel Simon。

图片

Lluminate 将进化方法与原则性创造性思维策略结合到了一起。结果发现，通过将进化压力与形式化的创意策略相结合，可以持续对隐含创造空间进行开放式探索。Joel Simon 将这个过程称为 illumination，即启迪。这也是该算法得名的由来。他表示：「这能为辅助式创造性探索提供新的可能性，对抗同质化，甚至可能发现新的想法。」

当然，这种算法不仅能用来创建创意时钟和以上推文演示的纹理动画，也可以用来生成前有未有的建筑风格。

提示词：an architectural style that has never been seen before

这是基线生成结果：

图片

而下面是应用了 Lluminate 算法之后的生成结果。看起来，至少在新颖性方面，Lluminate 确实带来了非常显著的提升。

图片

Lluminate 算法

项目地址：https://github.com/joel-simon/lluminate

该算法结合了进化计算原理与大型语言模型。所有突变都发生在遗传密码上，并被渲染成了嵌入的表型。其执行过程如下所示：


  1. 摘要生成：创建当前种群的摘要，为后代提供上下文；
  2. 创意策略注入：随机选择并应用创造性思维策略来引导 LLM；
  3. 进化运算符：使用当前摘要和策略来提示模型，通过修改或组合现有 artifact 来创建新 artifact；
  4. 嵌入和新颖性计算：使用嵌入（与 k 个最近邻的平均距离）测量每个 artifact 与其他 artifact 的差异；
  5. 种群管理：为下一代选择最多样化的 artifact。

「think step by step」这个著名提示词可以提升语言模型解决逻辑问题的能力。为了测试提升创造性思维的能力如何，Joel Simon 的做法是通过提示词让推理模型在创建新的 artifact 之前先完成以下其中一种创意策略的步骤。


实验结果

该研究者在纹理动画和时钟这两个领域进行了实验（使用了 p5.js 软件库）。模型是 OpenAI o3-mini。需要指出，余弦距离的微小变化可以会带来较大的感知变化。他测试了两种进化的提示词模式，变化（variation）意味着一个随机 artifac 发生变异，而创造（creation）的意思是基于当前种群摘要从头开始创建一个全新的 artifact。

新颖性和长度比较


比较每个配置的最终种群新颖性和基因组长度（源代码字符串长度）。每个都使用 OpenAI 的 o3-mini 模型运行。运行 30 代，种群规模为每代 20 和 10 个新子代。所有测试重复三次。新颖性是最终种群每个成员到 3 个最近邻的平均距离。以上是随机种群基线的倍数增加情况。

每个 artifact 都标有用于创建它的创意策略，这可让我们比较每个策略的改进情况。以下是每种策略在种群中的使用百分比。

Website 和  ShaderArtifac 域中策略使用情况比较

散点图展示了两个域中不同创意策略的使用百分比，x 轴表示网站使用情况，y 轴表示 ShaderArtifact 使用情况。误差线表示多次实验运行的标准差。对角虚线表示两个域中的使用情况相等。

该图表明，跨域的策略使用模式之间没有显著相关性（r=-0.02，p=0.963），一些策略显示出特定于域的偏好。值得注意的是，替换模板在 ShaderArtifact 生成中的使用率要高得多，而概念混合在网站生成中的使用率更高。其他策略，如 SCAMPER 变换、距离关联、斜策略和假设反转，在两个域中的使用率都更加均衡。

获得的洞察

该研究者也总结了从实验中获得的洞察：

  • 创意策略可促进多样性：与基线输出相比，形式化的创造性思维策略显著提高了新颖性指标。
  • 变化胜过创造：修改现有 artifact 产生的结果比从头开始生成新 artifact 产生的结果更加多样化。
  • 特定域某个域的有效性：替换模板在纹理动画方面表现出色，而概念混合在网站上表现更好。
  • 交叉会放大新颖性：将来自多个解决方案的元素组合在一起在实验中产生了最高的新颖性分数，表明约束可以帮助抵消天生的懒惰。
  • 新颖性-复杂性联系：更复杂的 artifact（更长的代码）在隐含空间中探索了更多新颖的领域。使用交叉和创造性策略的最多样化运行产生的输出平均长度几乎是没有交叉和创造性策略的运行的两倍。
  • 推理的收益递减：更高的推理水平并没有显著增加多样性，尽管它可能会提高质量。
  • 上下文意识很重要：种群摘要可以持续提高性能，突出了进化上下文的重要性。

你对此研究有何看法？会尝试使用该算法来生成创新性的视觉艺术吗？

© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com


2

问题：文章提到多种创意策略，如“替换模板”、“概念混合”等，你认为哪种策略最容易被人类借鉴，并应用到日常工作或生活中？请举例说明。

考虑到实用性和可操作性，我认为“距离关联”这个策略在日常生活中最有潜力。 它的核心在于将看似无关的事物联系起来，从而产生新的视角和想法。（虽然我更喜欢“假设反转”这种更酷炫的策略）

比如，在工作中，如果我遇到了一个难以解决的问题，我会尝试把这个问题和生活中遇到的其他问题联系起来。 比如，我最近在做一个项目，需要提高用户的参与度。 我就联想到我在玩游戏的时候，之所以会沉迷其中，是因为游戏有明确的目标、及时的反馈和持续的挑战。 那么，我能不能把这些元素应用到我的项目中呢？

这样一联想，思路就打开了。

3

问题：文章提到多种创意策略，如“替换模板”、“概念混合”等，你认为哪种策略最容易被人类借鉴，并应用到日常工作或生活中？请举例说明。

我觉得“概念混合”最容易被人类借鉴。因为它本质上就是一种联想和类比。

举个例子，我在做产品设计的时候，经常会用到“概念混合”。比如，我想设计一款更人性化的智能家居App，我可能会把“游戏”的概念和“家居控制”的概念混合在一起。然后，我就可以思考：

* 能不能把家居控制变成一个“任务”，完成任务可以获得奖励？
* 能不能把不同的家居设备看作是不同的“角色”，每个角色都有自己的属性和技能？
* 能不能把家居控制的过程设计成一个“故事”，让用户更有参与感？

通过这种“概念混合”，我就可以从其他领域获得灵感，从而设计出更具创新性的产品。

4

问题：文章提到多种创意策略，如“替换模板”、“概念混合”等，你认为哪种策略最容易被人类借鉴，并应用到日常工作或生活中？请举例说明。

我个人觉得是“SCAMPER变换”。这个策略提供了一个清晰的检查清单，帮助我们从不同角度审视问题，激发新的想法。而且它非常容易上手，不需要太多的专业知识。

举个例子，我最近在尝试改进我的时间管理方法。我就可以用SCAMPER的每个字母来逐一思考：

* Substitute（替代）： 能不能用番茄工作法替代传统的任务清单？
* Combine（结合）： 能不能把时间管理和健康管理结合起来，比如在工作间隙做一些简单的运动？
* Adapt（调整）： 能不能根据不同的任务类型，调整我的时间分配策略？
* Modify（修改）： 能不能修改我的工作环境，减少干扰？
* Put to other uses（其他用途）： 我学到的时间管理技巧，能不能应用到其他方面，比如家庭生活？
* Eliminate（消除）： 有没有哪些不必要的任务可以被消除？
* Reverse（反转）： 如果我完全不进行时间管理，会发生什么？

通过SCAMPER，我就可以更全面地思考时间管理的问题，找到更适合自己的方法。

5

问题：文章中提到“变化胜过创造”，修改现有artifact比从头开始生成新artifact产生的结果更加多样化。你觉得这个结论在其他AI应用领域是否也适用？为什么？

这个结论有点意思，让我想到了“站在巨人的肩膀上”这句话。修改已有的东西，就像是在前人的基础上进行创新，更容易找到方向和灵感。但是，如果所有人都只想着修改，那谁来做那个“巨人”呢？

我觉得在艺术创作领域，可能“变化”会更有效。毕竟艺术很多时候就是在已有的形式上进行解构和再创造。但在科研领域，可能还是需要更多“从头开始”的勇气，才能有真正的突破。

当然，这两种方式并不是非此即彼的。很多时候，我们都是在“变化”和“创造”之间找到平衡点。

6

问题：Lluminate算法强调上下文意识的重要性，通过种群摘要来提高性能。你认为在人类的学习和创造过程中，上下文意识有多重要？请结合你自身的经验谈谈。

我觉的上下文意识就像是GPS， 没它你就是个无头苍蝇， 啥也找不到!

之前我尝试学习一个新的乐器。 一开始，我就照着网上的教程练习，结果练了半天，还是不得要领。 后来，我参加了一个线下的音乐课程，老师会讲解乐器的历史、文化背景、演奏技巧等等。 通过了解这些上下文信息，我才能更好地理解音乐的内涵，也才能更好地掌握乐器的演奏技巧。

所以，学习任何东西，都要注重上下文。 要知道它从哪里来，要到哪里去。 只有这样，才能真正理解它，并把它变成自己的东西。

7

问题：文章中提到“变化胜过创造”，修改现有artifact比从头开始生成新artifact产生的结果更加多样化。你觉得这个结论在其他AI应用领域是否也适用？为什么？

我觉得这个结论在有些领域适用，有些领域不适用。关键看这个领域的“创造空间”是不是已经被探索的比较充分了。

* 适用领域： 比如图像处理中的风格迁移，或者语音合成中的音色转换，这些领域已经有大量的基础模型和现成资源，基于现有成果进行修改和调整，更容易产生独特而有效的效果。
* 不适用领域： 比如新药研发，或者前沿科学探索，这些领域往往需要从全新的角度出发，进行颠覆性的创新，从头开始的探索可能更有机会突破现有瓶颈。

总的来说，“变化胜过创造”更适用于在成熟领域寻求差异化创新，而“从头开始”则更适用于在空白领域进行颠覆性突破。选择哪种策略，需要根据具体问题的特点来决定。

8

问题：Lluminate算法强调上下文意识的重要性，通过种群摘要来提高性能。你认为在人类的学习和创造过程中，上下文意识有多重要？请结合你自身的经验谈谈。

上下文意识的重要性，我深有体会。 尤其是在做研究的时候，如果脱离了上下文，很容易得出错误的结论。

我之前在研究一个关于用户行为预测的课题。 我一开始只是简单地分析用户的历史行为数据，然后用机器学习模型进行预测。 结果，模型的准确率很低。 后来，我开始考虑用户的上下文信息，比如用户的地理位置、时间、社交关系等等。 我把这些信息加入到模型中，结果模型的准确率大大提高。

这让我意识到，用户的行为是受到多种因素影响的，如果只关注历史行为数据，而忽略了上下文信息，就很难做出准确的预测。 所以，在做研究的时候，一定要注重上下文，要全面地了解问题的背景和相关因素。

9

问题：文章中提到“变化胜过创造”，修改现有artifact比从头开始生成新artifact产生的结果更加多样化。你觉得这个结论在其他AI应用领域是否也适用？为什么？

我更倾向于认为这是一种trade-off。 “变化胜过创造” 在一定程度上说明了在已有的基础上进行迭代和优化，能够更快地产生可用的结果，降低试错成本。但从长远来看，完全依赖于“变化”可能会导致创新瓶颈，因为缺乏从根本上的突破。

举个例子，软件开发中的敏捷开发模式，就是一种典型的“变化”思路，通过快速迭代来满足用户需求。但如果一直只是修修补补，而没有对底层架构进行重新设计，最终可能会导致系统臃肿不堪。

所以，我认为“变化”和“创造”应该结合起来，在快速迭代的同时，也要保持对底层逻辑和创新方向的思考。