ChatGPT两周年深度回顾:24个主题350篇文章全景解析

回顾ChatGPT发布以来的两年,机器之心总结了350篇高质量文章,涵盖AI多个主题。

原文标题:ChatGPT 发布后这两年,该关注什么?机器之心打包了24个主题350多篇高质量文章

原文作者:机器之心

冷月清谈:

自OpenAI于2022年11月30日发布ChatGPT以来,AI领域经历了快速的发展与变化。本文总结了过去两年间ChatGPT的迭代与多模态能力的提升,探讨了开源与闭源竞争者的崛起以及视觉生成模型的爆发。同时,文章提及了AI在编程能力上的飞速进步,以及各国针对AI应用的法律法规的出台,反映了AI领域的热点事件与动态。此外,机器之心还整理了350多篇涉及AI推理、小模型、Transformer、具身智能等方面的高质量文章,便于读者把握这一高速变化的领域。

怜星夜思:

1、在AI快速发展的背景下,你觉得哪些技术或趋势将最引领未来?
2、关于AI的法律与规范,你认为目前有哪些亟待改进的地方?
3、如何看待AI在编程领域的应用和未来发展?

原文内容

机器之心原创
机器之心编辑部

2022 年 11 月 30 日,OpenAI 发布 ChatGPT,从此世界再也不一样了。

在这两年时间里,ChatGPT 迭代了好几代版本,获得了多模态处理以及强大的推理能力。现在,两年时间过去了,OpenAI 依然引领着这个时代的 AI 发展潮流。但与此同时,它的开源和闭源竞争者们也在奋力直追,包括 Anthropic 的 Claude、谷歌的 Gemini、Meta 开源的 Llama、Mistral AI 的系列模型以及国内的 DeepSeek、阿里 Qwen。

另一方面,扩散模型的成功也让视觉生成模型进入了爆发时代。我们看见 Stable Diffusion 开源图像模型在社区中得到广泛的应用,Midjourney 凭借卓越的细节和艺术风格生成能力成为高质量视觉生成应用的典范,另外也有谷歌 Imagen、Adobe Firefly 以及 Meta 的 Make-A-Scene 等适用于不同场景的 AI 技术或应用,当然还有备受期待却一直没能显露真身的 Sora。

这两年里,AI 更是在编程方面一往无前,现在甚至已经能根据用户的一句话生成完整的代码库。不仅如此,AI 也正在渐渐掌握使用外部工具乃至操控用户计算机的能力。

小模型也是一个重要的发展方向。量化、剪枝、压缩……研究社区构想出了多种多样的方法,力求在降低模型大小的同时不对模型性能带来明显影响,从而将 AI 能力集成到更多边缘设备中。

这两年里,AI 领域的热点事件也是一个接着一个,让人目不暇接。分裂与融合、炒作与幻灭、突破与瓶颈、创新与规制。

我们看到了 OpenAI 高层持续不断地动荡;AI 模型发布接连不停、应用层出不穷;在 AI 淘金热中卖铁锹的英伟达成长为全球市值第一公司;多个国家和地区出台关于 AI 应用的法律法规(如《欧盟人工智能法案》);关于 AI 的路线之争、版权争议、各不一样的 AGI 预言、社会影响的讨论也愈发热烈;到了今年 10 月份,AI 研究者还在争议之中获得了今年的诺贝尔物理学和化学奖。

值此 ChatGPT 发布两周年之际,机器之心精心编排了我们这两年发布的技术干货与高质量文章,涵盖 AI 推理、小模型、Transformer、多模态、具身智能等诸多类别,助你把握住这高速动态变化的 AI 领域。此外,我们还整理了之前的高质量教程与学习资料,一起打包奉上。(注:强调一下,这是机器之心发布过的高质量文章的合集,超链接形式整理

注意不同分类中的文章可能会有所重叠,比如某篇文章可能既属于强化学习类别,也属于具身智能类别。

主题目录

  • 大模型考古学:洞见 ChatGPT 的成王之路(5 篇)

  • Scaling Law 撞墙了吗?(6 篇)

  • System 2 以及 Al 的推理与规划(19 篇)

  • 小模型,AI 普及的关键?(13 篇)

  • 混合专家(MoE(6 篇)

  • 进化的 Transformer 及其竞争者(37 篇)

  • 强化学习,让 AI 像人一样学习(22 篇)

  • AI 也能自我进化(6 篇)

  • 口耳鼻舌身意,多模态 AI 百花齐放(18 篇)

  • 智能体:自主决策的能力和范围都在提升(12 篇)

  • 世界模型与空间智能:让 AI 进入物理世界的关键(13 篇)

  • 当 AI 有了身体,具身智能时代的黎明(20 篇)

  • AI 编程已经迎来颠覆性应用(5 篇)

  • AI 与自然科学:已经得到诺贝尔奖认可(4 篇)

  • AI 与数学(8 篇)

  • 如何发掘大模型潜力?提示词工程、RAG 与 LoRA(24 篇)

  • 如何确保 AI 安全?可解释性和对齐相关研究(56 篇)

  • 大模型加速与效率提升(11 篇)

  • 其它方向的探索:从意识理论到群体智能(10 篇)

  • 从头开始实现,包教包会的实用教程(12 篇)

  • 课程与学习资料(14 篇)

  • 访谈以及经验分享(19 篇)

  • 智者访谈(7 篇)

  • 机器之心必备经典模型专栏文章(24 篇)


大模型考古学:洞见ChatGPT的成王之路


ChatGPT 并非朝夕之功,从 2017 年 Transformer 诞生到 2022 年 OpenAI 发布 ChatGPT 这一革命性应用,这背后是多年的技术探索和不断突破。这个过程中,既有仅解码器、仅编码器、编码器-解码器的范式之争,也有注意力等关键机制的不断优化。下面我们整理了 5 篇与 ChatGPT 相关的大模型谱系研究文章。


Scaling Law 撞墙了吗?


参数量越大、数据越多、算力越高,模型就越强。这个基于规模扩展的 Scaling Law 多年来一直指引着 AI 领域的发展。然而,不久前 The Information 的一篇文章将「」的议题摆在了公众眼前,而争议双方也各执一词,至今没有达成共识。

下面我们梳理 6 篇有关 Scaling Law 的深度报道和相关研究。

AI编程现在的能力还有限,有时候反而得靠人工来修复,所以我还是觉得人类程序员不可或缺。

隐私保护与数据安全是最迫切要解决的,尤其是在医疗、金融等领域,利益与风险需要平衡。

我觉得公众的参与非常重要,应该增加AI政策制定过程的透明度,让更多人了解和参与到这当中。

AI编程能极大提升开发效率,但同时也需要开发者去理解背后的逻辑,不能全靠工具。

可以说是编程领域的革命,未来会不会出现无代码程序?这对普通人来说,可谓福音。

我觉得多模态AI会是一个重要趋势,视觉、语言结合能实现更多实用场景,推动各行业的迭代升级。

小模型的崛起也值得关注,因为它们能够在边缘设备上运行,推动AI的普及应用,比如在智能家居等领域。

不要忽视社会与道德议题,AI的持续发展也需要与伦理法规相结合,防止大规模应用带来的潜在风险。

法律条文的滞后性是个大问题,AI技术发展太快,法律往往跟不上;我觉得需要针对具体应用场景制定更有针对性的法规。