贝叶斯公式的思考与应用:从怀疑到理性

原文标题:《概率论沉思录》中文版上市!豆瓣原书9.3分!读者评价“jayn之后,再无统计”

原文作者:图灵编辑部

冷月清谈:

**贝叶斯公式的思考与应用**

简介
贝叶斯公式在概率论和统计推断中扮演着至关重要的角色,它将概率和已知信息结合起来,帮助我们评估不同可能性的可能性。

贝叶斯公式的直观理解
抛硬币的例子生动地解释了贝叶斯公式的原理。当硬币连续出现正面时,我们怀疑硬币存在问题,而不是单纯地认为抛硬币的人运气好。这种怀疑源于贝叶斯公式,它不断调整我们对不同可能性的信心,以适应新的证据。

贝叶斯公式的广泛应用
贝叶斯公式不仅适用于概率方面的计算,还广泛应用于其他领域,如机器学习、人工智能、逻辑学和哲学。从视觉处理到股票市场,甚至生物演化,都涉及贝叶斯公式的应用。

贝叶斯公式的哲学启发
贝叶斯公式强调了怀疑精神和理性思考的重要性。它鼓励我们抛开固有信念,直视世界的本来面目。贝叶斯公式还为认识论提供了新的视角,认为真理可能不是绝对的,而是由相互验证和印证的理论构成的,这被称为“真理融贯论”。

贝叶斯公式在人工智能中的应用
人工智能领域对贝叶斯公式有广泛的研究,重点在于如何利用有限资源对贝叶斯计算进行快速且足够准确的近似。该书讨论了偏差-方差困境、数据的正则化等概念,以及生成对抗网络和深度学习等技术在贝叶斯推断中的应用。

推荐读物

  • 《概率论沉思录》:埃德温·汤普森·杰恩斯的经典著作,深入探讨贝叶斯公式的理论基础和广泛应用。
  • 《贝叶斯的博弈:数学、思维与人工智能》:黄黎原的科普作品,探索贝叶斯定理在数学、思维和人工智能等领域中的应用和哲学启示。



怜星夜思:


1、贝叶斯公式是否适用于所有类型的概率问题?
2、贝叶斯公式对我们认识世界有什么启示?
3、贝叶斯公式在人工智能中的应用前景如何?

原文内容

计算机科学、数学、统计学、生物学、神经科学,甚至哲学,都有贝叶斯公式的一席之地。应用非常广泛。


图灵至今已经出版了多本贝叶斯相关的图书,而概率论沉思录》更是一本经典著作,它将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是阐述了贝叶斯理论的丰富应用,弥补了传统概率论和统计学的不足,并揭开了众多悖论背后的玄机。

来源 | 《贝叶斯的博弈
作者 | 黄黎原
文 | 本书译者 / 方弦
这也许难以置信,一个小小的概率论公式竟然有着如此广泛的应用,其中一些甚至似乎与概率毫无关系。别的先不说,我们在决定晚上吃什么时,似乎也不会计算什么概率,那贝叶斯公式是怎么跟所有这些东西扯上关系的呢?

要理解这一点,就要先理解概率到底是什么。

我们在学校学到的是,在多次重复同一实验时,得到某个结果的比例会逐渐趋近于一个特定的值,它就是这个结果出现的概率。比如说抛硬币100次,可能有55次正面;抛1万次的话,正面可能出现4986次。但抛的次数越多,正面出现的次数就越来越接近一半,因此,正面出现的概率就是0.5。

根据已知事件的概率,我们可以计算其他更复杂的事件出现的概率,而我们在高中学到的概率,大体上就是如何去进行这样的计算。

但有些概率似乎不能这样解释。

天气预报里说“明天降水概率是40%”,但“明天”无法重复,这个概率的意义又是什么?更重要的是,我们学会了怎么根据给定的模型来计算概率,但从来没有人告诉我们这些模型从何而来。教材上说抛硬币正反面出现的概率都是0.5,但如果有人连续抛出100次正面,的确这种事情出现的概率不是0,这个人的运气可能真的好,但不会去怀疑这枚硬币有猫腻的,恐怕万中无一,也许我们需要换一种思路。

面对连续抛出100次正面,为什么我们会怀疑硬币有问题?

因为解释100次正面的方法,其实不止一种:我们可以假设硬币是公平的,只是这个人的运气特别好;或者硬币被动了手脚,比如两面都是正面。那么,这两种解释各自有多合理呢?

前一种解释下,100次正面出现的概率是2-100,大概是一亿亿亿分之一,一个非常小的数字;后一种解释下,要找一枚动了手脚的硬币不太容易,但可能性肯定远远大于一亿亿亿分之一。所以,我们的怀疑完全合理,这枚硬币多半有猫腻。

这种思路与我们在学校学到的概率方法恰好相反,与其在知道原因的情况下计算每种结果的可能性,我们做的其实是在已知结果的情况下,判断它由不同原因导致的可能性。正因如此,这类问题又被称为逆概率问题,而贝叶斯公式就是所有这类问题的解法。

而更为重要的是,我们不一定要等到第100次正面出现才开始怀疑。如果正面连续出现五六次,“运气好”这个解释也许勉强过得去,但在连续出现二三十次之后,我们肯定就从半信半疑变成极端怀疑了。

为什么?因为我们对两种解释的可能性会随着观察而不断变化,不断调整它们在我们心中的可能性。连续的正面越来越多,我们就越来越怀疑硬币是否公平。而从数学上来说,最合理的调整方法就是根据贝叶斯公式,从观察前的信心程度,根据结果计算观察后的信心程

图片

吊诡之处就在这里:贝叶斯公式毕竟是概率论的公式,它计算的是客观的概率,怎么变成主观的信心程度了?

但也许这就是问题所在,不同的人对于同一事件发生的概率也许会有不同的看法。在抛第一次硬币的时候,对于毫不知情的旁观者来说,硬币很有可能是公平的,所以抛出正面的概率是0.5,但对于抛硬币的人来说,他早就知道硬币只能抛出正面,所以对他来说,这个概率是1。

为什么两个概率不相同?因为抛硬币的人比旁观者知道得多,拥有更多的信息。反过来说,即使是完全公平的硬币,如果我们知道空气中每一个分子的运动,知道硬币一开始的准确速度,知道桌面每一丝毫的起伏,那么原则上我们就能计算硬币抛到桌面上最后的朝向,结果不再是概率,而是完全注定。

可以说,正因为我们无知,所以才需要概率,用以衡量由于无知带来的不确定性。而贝叶斯公式,就是我们被迫在无知的黑暗中前行时唯一的指南针,用尽我们所知的一切,去尝试衡量未知,做出行动,而更重要的是从实际观察到的结果学习,合理调整我们对不同可能性的信心。

不仅有意识的行动如此,任何需要与外界相互作用的客体,无论是人、动物、植物还是机器,如果想要做出合理的决定,在某种意义上都需要利用贝叶斯公式,而这种利用甚至不需要主动的意识。书中提到,视觉处理、语言学习、股票市场,甚至生物演化,在某种意义上都是贝叶斯公式的具体应用。

但对于作者而言,贝叶斯公式更重要的不在于它的正确性,而在于如何具体实行。

图片
贝叶斯
 ( Thomas Bayes 1702-1761 )


在理想化的数学世界中,贝叶斯公式的确提供了唯一的答案,但在现实世界中,它的完美实现却几无可能,因为它的计算超出了任何计算机的能力,而这也是数学得出的结论。我们能做到的,就只能是利用尽可能少的资源,尽可能快的做到尽可能精确的近似。

自然界通过演化以及演化而来的神经系统,对不同类型的问题给出了不同的解答。而人工智能,也就是作者的主要研究领域,要做的就是从自然以及数学中提取经验,想方设法对贝叶斯公式指示的计算做出又快又足够好的近似。

也正因如此,书中包含相当多人工智能方面的研究内容,部分甚至相当深入。偏差-方差困境、数据的正则化、内生分层、KL散度、生成对抗网络、玻尔兹曼机、深度学习……这些都是书中仔细探讨的内容。然而,在作者的简明风格下,这丝毫没有减少这本书的可读性,反而有一种厚重感,也让我们看到人工智能领域对于数据处理与预测的孜孜以求,以及贝叶斯公式在其中的众多应用。

图片

贝叶斯公式在哲学同样给我们相当大的启发。化繁为简、兼听则明、从不盲信、合理怀疑,这些理性思考的注意事项,全都能在贝叶斯公式中找到解释。

不仅如此,贝叶斯的视角也对认识论产生了重大的影响。也许绝对的真理并不存在,存在的只有互相印证又互相勾连的理论,而不同的理论又被多方面的实践所验证。单一实验也许会出错,但众多实验的集合也许就提供了足够的理由,通过贝叶斯公式,使得我们对理论本身有着极高的置信度。

这就是所谓的“真理融贯论”,与其建基于可能并不存在的绝对真理,也许接受这种由概率与相互印证构成的真理更为实在。而书中贝叶斯公式的众多应用,又在各种不同的角度支撑了这种对世界的思考方式。

也许这本书最重要的启发并不是什么具体的知识,而是贝叶斯公式中隐含的怀疑精神。本书作者写作的目的之一,就是梳理他自己对贝叶斯公式的思考。但在梳理过程中,他也发现,如果利用贝叶斯的眼光审视自己心中的信念,就会发现这些信念其实都来自外界,而我们之所以接受这些信念,也许并不因为它们是正确的,只是一时一地的偶然或者必然。

在书中,他详细地描述了对自己内心的审视。也许这也正是我们在这个信息爆炸的年代所需要的。

抛开固有的信念,直视世间合意或者不合意的一切,用最朴素的眼光,才能看到世界的本来面目。

推荐阅读

《概率论沉思录》

作者:埃德温·汤普森·杰恩斯

译者:廖海仁



著名数学物理学家,圣路易斯华盛顿大学和斯坦福大学教授,统计力学和概率统计推断方面权谋埃德温·汤普森·杰恩斯,40年思想著作;


无数读者苦等15年的概率论神作,英文版豆瓣评分9.4高分;


概率论作为逻辑的延伸,是所有科学推断的基础。本书收集了概率统计的各种线索,将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是阐述了贝叶斯理论的丰富应用,弥补了传统概率论和统计学的不足,并揭开了众多悖论背后的玄机。

02


《贝叶斯的博弈:数学、思维与人工智能》

作者:黄黎原

译者:方弦



法国数学类科普书、大学数学参考及教材类图书畅销书目,在机器学习、人工智能、逻辑学和哲学等众多领域中,探索贝叶斯定理蕴藏的智慧与哲理。


贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。


**抖机灵回答:**贝叶斯公式让我明白,信自己没错,但也要听听别人的意见,毕竟众人拾柴火焰高嘛,说不定在别人的观点里,我就发现自己忽视了什么重要线索呢~哈哈,贝叶斯万岁~!

**学术回答:**贝叶斯公式鼓励我们以批判性思维看待知识,并根据新证据不断调整我们的信念。它强调了证据在知识形成中的重要性,同时提醒我们在面临不确定性时采取合理怀疑的态度。

**娱乐回答:**贝叶斯公式告诉我,世界上没有绝对的真理,只有不断被修正的假设,就像拼图游戏里那一块块拼图,每多一块,我们对整幅画的认识就更接近真实。

**学术回答:**贝叶斯公式是一种通用的概率框架,理论上适用于任何涉及不确定性的问题。但对于某些类型的问题,如frequentist推断,可能需要使用特殊的方法来修改贝叶斯公式,以确保其结果的频率解释。

**娱乐回答:**贝叶斯公式就像人工智能里的魔法棒,它让机器懂得了像我们一样思考,不断学习,适应变化。人工智能的未来,离不开贝叶斯的身影哦~

**娱乐回答:**贝叶斯公式就像万能胶,粘啥都行,但有时候也要加点别的胶水才行。

**抖机灵回答:**贝叶斯公式在人工智能里,就像加了特效的超级英雄,所向披靡!人工智能从此开启了外挂时代,分分钟拯救世界不是梦~

**学术回答:**贝叶斯方法在人工智能中潜力巨大,特别是在机器学习和人工智能推理方面。它的优点在于能够处理不确定性并根据新数据进行自更新。随着计算能力的不断提升和算法的不断改进,贝叶斯技术有望在人工智能的未来发展中发挥越来越重要的作用。

**抖机灵回答:**贝叶斯公式适用范围广得简直离谱,我怀疑它是不是掌握了时空穿梭术,可以从时间和空间的缝隙里钻出去应用呢~