贝叶斯思想入门:两本高分著作解析不确定性世界

贝叶斯定理是应对不确定性的强大工具,本文介绍了两本神作,带你掌握贝叶斯思维,提升科学决策能力。

原文标题:数学圈公认的两本贝叶斯高分入门神作,文科生也能无障碍阅读,读者奉为“年度最佳!”

原文作者:图灵编辑部

冷月清谈:

文章介绍了两本被誉为贝叶斯统计入门“神作”的书籍:《贝叶斯的博弈:数学、思维与人工智能》和《趣学贝叶斯统计:橡皮鸭、乐高和星球大战中的统计学》。

《贝叶斯的博弈》深入探讨了贝叶斯理论在数学、哲学、计算机科学、神经科学和人工智能等领域的应用,强调了贝叶斯定理如何与算法结合,成为“知识宝库”,并改变人类认知和预测方式。书中通过引人深思的例子,阐述了如何基于观察结果修正对事物的推测,并触及了围绕假设真实性数值化的哲学争议,指出在数据泛滥的今天,贝叶斯公式的地位再次被重新审视。

而《趣学贝叶斯统计》则采用轻松幽默的方式,通过十余个生活化案例,如评估UFO出现可能性、电影情节概率等,生动讲解了贝叶斯统计的原理和广泛用途。它强调生活充满了不确定性,而贝叶斯统计正是帮助我们更好地对不确定性进行推理的工具,它将概率视为对信息的信念程度,而非事件发生的频率。文章还指出,贝叶斯统计在数据科学、工程、市场营销乃至日常决策中都有重要价值。

两本书都旨在帮助读者理解贝叶斯思维如何助力我们在信息有限的情况下做出更明智的选择,并坦然面对不确定性

怜星夜思:

1、文章提到贝叶斯定理能帮助我们根据观察结果修正推测,就像文中的出租车例子。在日常生活或工作中,你有没有遇到过类似“贝叶斯式”的决策场景?具体说说你是怎么调整自己判断的,效果怎么样?
2、文章对比了频率派统计和贝叶斯统计,一个关注“频率”,一个关注“信念或不确定性”。你觉得在哪种情况下,贝叶斯统计的思维方式会比频率派统计更适用、更能解决实际问题?能举个例子吗?
3、贝叶斯理论在人工智能领域应用广泛,比如机器学习和深度学习。你认为贝叶斯思维在AI发展中扮演了怎样的角色?未来它在AI领域还可能有哪些超乎我们想象的应用?

原文内容

有人生前波澜不惊,死后却名声大振,贝叶斯就是其中之一。以他命名的“贝叶斯定理”堪称一座知识宝库,从神经科学到人工智能,无所不及。这是一个充满启示,实现革新,改变人类认知和预测方式,颠覆固有思维的奇妙定理。


黄黎原的《贝叶斯的博弈:数学、思维与人工智能》从数学、哲学、计算机科学、神经科学和人工智能等角度,全面阐述了贝叶斯理论背后的基础知识、思维方式和丰富哲理。贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。


而威尔·库尔特的《趣学贝叶斯统计:橡皮鸭、乐高和星球大战中的统计学》用十余个趣味十足、脑洞大开的例子,将贝叶斯统计的原理和用途娓娓道来。如你可以评估UFO出现在自家后院中的可能性、《星球大战》中汉•索罗穿越小行星带幸存下来的可能性、抓鸭子中大奖游戏的公平性,并学会用乐高积木理解贝叶斯定理。

《贝叶斯的博弈:数学、思维与人工智能》


你拖着沉重的行李,坐火车来到一个小城市,下了车就直接走向火车站前的出租车站,那里只有一辆车。不巧,正在你走过去的关头,另一位游客捷足先登,出租车就这样在你的眼皮底下开走了。从这场遭遇中,你能得出什么结论?这座城市似乎还是有出租车的(毕竟这种规模的城市其实不是总有出租车的),所以,如果你耐心等待,说不定就会有另一辆车开过来。或者说,整个城市没多少出租车,你刚好错过一辆,因为城市很小,这样的好事大概不会接二连三地发生。这两种解释都对,但选择哪一种就取决于你在下火车前知道的(或者说相信的)是什么。

这位造访未知城市的旅行者对出租车的数目进行了推测,然后根据观察结果修改这些推测。这种做法跟刚降生到这个未知世界的婴儿,或者思索为什么太阳每天早上都会升起的研究人员(他们会惊叹其他人居然对此感到理所当然)所做的没多大差别。他们都在探索世界,提出假设并根据观察结果修正这些假设。

从经验中能得到什么教训?如何才能认识这个世界?黄黎原(音译)的这本著作希望我们思考的正是这些问题。

这些问题正好概括了超过一个世纪的争论:对于某个假说,能否赋予它一个衡量其真实性的数值?对于某些人,比如汉斯·赖欣巴哈来说,这正是发展概率论的目的。特别是,所有证实某个假说的观察结果都会提高这个假说的正确性的概率,比如每看到一只黑乌鸦都会提高“所有乌鸦都是黑的”这个假说为真的概率。对于其他人,比如卡尔·波普尔来说,赋予这种假说的数值只是一种幻觉。看到一只黑乌鸦,我们只能断定“所有乌鸦都是黑的”这个假说仍然吻合我们的观察结果。

处于这场争论中心的是一个简单得出乎意料的公式,也就是贝叶斯公式——“智慧方程”。这个公式能做的,就是让我们在获得某个观察结果之后,计算应该赋予某个假说的概率——所以赖欣巴哈说得有道理;但前提必须是在观察之前就知道怎么向这个假说赋予概率——所以波普尔说得也有道理。

尽管可以说,这个问题在 20 世纪似乎已被解决(当时的胜利者是波普尔),然而,目前数据收集技术的演变让人们开始重新审视这个问题。在 20 世纪,如果我们相信白乌鸦存在,那么观察到三只乌鸦全是黑色的事实可以被解释为巧合。在今天,当我们观察 100、1000 甚至 1 亿只乌鸦,且看到它们都是黑色的时候,我们就需要某种勇气,甚至是某种偏执,才能断言不一定所有乌鸦都是黑的,而观察结果完全一致只是偶然。至少我们必须退让,承认在所有乌鸦之中,有一大部分都是黑的,至于白乌鸦只能作为例外。贝叶斯公式指出的先验假说问题使人们反对赖欣巴哈的观点,但今天数据的泛滥已经冲淡了这种反对。相对的是,其他问题出现了:这些数据是怎么收集而来的?收集数据的方法会不会引入对白乌鸦的认识偏差甚至歧视?我们再一次观察到技术的演变,尤其是科学研究中的技术,如何改变了科学哲学提出的问题。

正是这一点令这本书更加引人入胜。这本书写于一个翻天覆地的时代,技术的演变让我们重新审视贝叶斯公式以及它在知识大厦中的位置。

这本书也写在了一个传播方式改变了我们谈论科学方式的时代。受到在线视频风潮的影响,作者找到了谈论科学的新方式,既严谨认真又娓娓道来,并且擅长用例子照亮最抽象的问题。

贝叶斯的博弈:数学、思维与人工智能》

作者:黄黎原

译者:方弦


法国数学类科普书、大学数学参考及教材类图书畅销书目,在机器学习、人工智能、逻辑学和哲学等众多领域中,探索贝叶斯定理蕴藏的智慧与哲理。


贝叶斯定理一旦与算法相结合,就不再是一套枯燥的数学理论或认识论,而变成了应用广泛的知识宝库,催生了众多现代数学定理,以及令人称道的实践成果。



《趣学贝叶斯统计:橡皮鸭、乐高和星球大战中的统计学》

事实上,生活中的所有事情从某种程度上说都是不确定的。这句话听起来似乎有些夸张,为了验证真假,不妨做一个简单的实验:在一天开始的时候,写下你认为在接下来的半小时、1小时、3小时和6小时内会发生的事情,然后看看有多少事情会像你设想的那样发生。很快你就会意识到,一天中充满了各种不确定的因素,即使像“我会刷牙”或“我会喝杯咖啡”这样的事情,也可能因为这样或那样的原因,并不会如你所期望的那样发生。

对于生活中遇到的大多数不确定因素,通过规划就能很好地消除其影响。例如,即使交通拥堵可能让你早上的通勤时间比平时长,你也能很好地预估在什么时候离开家能够准时上班。如果上午有一个非常重要的会议,你可能会提前出门,以确保准时。我们都有一种与生俱来的意识,能处理不确定的情况并对不确定性进行推理。当用这种意识去想事情的时候,你就是在用概率思维思考了。

为什么要学习统计学

本书的主题是贝叶斯统计,它有助于我们更好地对不确定性进行推理,就像在课堂中学到的逻辑知识有助于我们看出日常逻辑思维中的错误一样。正如前面讨论的那样,每个人在日常生活中都会与不确定性打交道,这使得本书的读者群体相当广泛。已经在使用统计学的数据科学家和研究人员将深入理解统计工具的原理并从中受益,工程师和程序员则会学到如何更好地量化他们必须做出的决策,我甚至在用贝叶斯分析来确定软件存在bug的原因!市场营销人员和销售人员则可以在使用A/B测试时、在试图了解受众时以及在更好地评估机会的价值时,应用本书中的思想。任何做高层决策的人都应该有基本的概率意识,这样他们就可以对不确定决策的成本和收益做出快速的粗略估计。我希望本书能够成为CEO们在飞行旅途中的读物,这样便于他们在飞机降落时打下一定的基础,可以在涉及概率和不确定性的问题上做出更好的选择。

我个人认为,每个人都会因用贝叶斯思维思考问题而受益。通过贝叶斯统计,你可以用数学来模拟不确定性,这样就可以在信息有限的情况下做出更好的选择。例如,你需要准时参加一个特别重要的会议,有两条路线可以选择:第一条路线较近,但经常会发生拥堵从而导致较长的延误;第二条路线较远,但来往的车辆较少。应该选择走哪条路线呢?需要什么样的信息才能做出决定呢?你对自己做出的选择又有多大把握呢?哪怕只是稍微复杂一点的问题,也需要额外的思考和方法才能解决。

通常,当想到统计学时,人们的脑海中浮现的是医学家在研究一种新药,经济学家在跟踪市场趋势,分析师在预测下一次选举,以及棒球队经理试图在用复杂的数学模型打造最好的球队,等等。所有这些都是统计学的奇妙用途,但理解贝叶斯统计的基础知识可以在日常生活的更多领域中有所助益。如果你曾经质疑过新闻报道中的一些新发现,曾经为想知道自己是否得了某种罕见病而熬夜浏览网页,或者曾经因为亲友们对世界的非理性信念而与他们争论不休,那么贝叶斯统计非常适合你学习,它能帮你更好地推理。

什么是贝叶斯统计

你可能很想知道贝叶斯统计到底是什么。如果你曾经学习过统计课程,那么这类课程很有可能是基于频率派统计(frequentist statistics)的。频率派统计建立在如下观点之上:概率代表的是某件事情发生的频率。例如,掷一次硬币得到正面的概率是0.5,那就意味着在掷一次硬币后,预期得到 图片 个正面(如果掷2次,预期得到一个正面,这更合理)。

相对来说,贝叶斯统计则更关注概率如何表示我们对某信息的不确定性。用贝叶斯统计的术语来说,如果掷一次硬币得到正面的概率是0.5,那就意味着我们对得到正面和得到反面同样不确定。对掷硬币这样的问题,频率学派和贝叶斯学派似乎都是合理的,但是当量化你最喜欢的候选人赢得下一次选举的信念时,贝叶斯学派的解释则更有意义。毕竟选举只有一次,所以讨论你最喜欢的候选人会赢的频率并没有太大意义。在进行贝叶斯统计的时候,我们只想准确地描述自己在目前所掌握的信息下对这个世界的信念。

贝叶斯统计有一个特别好的地方,那就是可以把它直接看成对不确定事物的推理,所以贝叶斯统计的所有工具和方法都有着直观的意义。

贝叶斯统计重在观察你所面临的问题,找出描述它的数学方式,然后用推理来解决它。这里没有那些给出不确定结果的神秘测试,没有必须记忆的分布,也没有必须完美复制的传统实验设计。无论想弄清楚一个新的网页设计会给你带来更多客户的概率,还是你最喜欢的运动队是否会在下一场比赛中获胜,抑或我们在宇宙中是否真的孤独,贝叶斯统计都能够让你对这些事情进行数学分析,只不过需要使用一些简单的规则和一种看待问题的新方法。

《趣学贝叶斯统计:橡皮鸭、乐高和星球大战中的统计学》

作者:[美] 威尔·库尔特(Will Kurt)
译者:王凌云

本书用十余个趣味十足、脑洞大开的例子,将贝叶斯统计的原理和用途娓娓道来。你将从直觉出发,自然而然地习得数学思维。读完本书,你会发现自己开始从概率角度思考每一个问题,并能坦然面对不确定性,做出更好的决策。


推荐阅读

《概率论沉思录》

作者:埃德温·汤普森·杰恩斯

译者:廖海仁


著名数学物理学家,圣路易斯华盛顿大学和斯坦福大学教授,统计力学和概率统计推断方面权谋埃德温·汤普森·杰恩斯,40年思想著作;

无数读者苦等15年的概率论神作,英文版豆瓣评分9.4高分;


概率论作为逻辑的延伸,是所有科学推断的基础。本书收集了概率统计的各种线索,将概率和统计推断融合在一起,用新的观点生动地描述了概率论在物理学、数学、经济学、化学和生物学等领域中的广泛应用,尤其是阐述了贝叶斯理论的丰富应用,弥补了传统概率论和统计学的不足,并揭开了众多悖论背后的玄机。


贝叶斯在AI里的作用嘛,我觉得它就像给AI装了个“脑子”,让AI不再是只会死记硬背的学霸,而是懂得“活学活用”的福尔摩斯!比如人脸识别,以前可能就是训练很多张脸,然后直接匹配。现在加上贝叶斯,AI就能告诉你,“这张脸有90%的可能是张三,但还有10%的可能性是光线或者角度问题导致的误判。”这种带不确定度评估的判断,是不是瞬间觉得AI更像个活人了?至于未来,我觉得AI可能会用贝叶斯来预测你什么时候要点外卖、什么时候想谈恋爱(手动狗头),甚至是预测你的彩票中奖号码,哈哈!那就太刺激了!

对于贝叶斯思维在AI发展中的角色,我认为它提供了处理不确定性的基本框架。在许多AI任务中,如模式识别、决策制定和信息融合,我们往往面对不完整或含噪声的数据。贝叶斯推断能有效建模这些不确定性,例如在贝叶斯网络、高斯过程等模型中,它让AI系统能够“学习”并更新对世界的认知,从而做出更稳健的预测和决策。未来,随着可解释AI的需求日益增长,贝叶斯的可解释性优势(可以清晰地看到先验如何结合数据生成后验)可能会使其在医疗诊断、自动驾驶等高风险AI应用中发挥更关键作用。

关于“频率派和贝叶斯统计哪个更实用”的问题,我觉得在分析一次性事件,或者说,那些“不能重复试验”的事情时,贝叶斯统计简直是量身定做!比如,预测某支股票明天是涨是跌,或者某个新上线产品会不会火爆。你没法“重复”一百次来统计频率。但贝叶斯呢,你可以先有一个基于历史数据或专家意见的“信念”(先验),然后随着市场动态、用户反馈等新信息出来,不断修正你的信念,这样你的判断就更接近真实情况。频率派在那儿干瞪眼,贝叶斯却能步步为营。

这个问题太亲切了!我最近买彩票就有点“贝叶斯”那味儿。以前我觉得中奖纯看运气,每次都乱买。后来我发现,有些彩票如果当期没人中大奖,奖池会累积,那下期中大奖的“期望值”就高了。虽然概率还是小,但我会根据奖池大小(就是那个观察数据嘛)来决定这期要不要多投点,或者只买这种奖池高的。感觉有点玄学,但心理上舒服多了,哈哈。

谈到频率派和贝叶斯,我的理解是:当你问“硬币抛一百次有多少次正面?”这是频率派的问题。但当你问“这枚硬币是公平的吗?”并想知道你对这个问题的“信心”有多大时,这就是贝叶斯想回答的。所以,在那些我们更多关注“信念强度更新”而非“事件重复发生频率”的场景,贝叶斯简直是秒杀。比如法官判断一个嫌疑犯是否有罪,每一条新证据都在影响法官对“有罪”或“无罪”这个信念的强度,这绝对是贝叶斯式的思维,而不是去统计这位嫌疑犯“未来有多少次会犯罪”的频率。

回答关于频率派与贝叶斯统计适用性的问题,我认为贝叶斯统计在处理小样本数据或先验信息丰富的场景下具有独特优势。例如,罕见疾病的诊断。频率派方法可能需要大量样本来估计疾病发病率,但在实际操作中,罕见病数据获取困难。贝叶斯方法则可以结合医生的临床经验、流行病学数据等先验信息,即使只有少量患者的检测结果,也能通过贝叶斯推断给出更鲁棒的后验概率,从而辅助诊断,这在个体化医疗中尤为重要。

提到“贝叶斯式”决策,我想到我妈!她总是会根据邻居的八卦(观察结果)来调整她对小区的各种传闻(先验信念)的看法,然后迅速得出“谁家孩子有出息”、“哪家菜便宜”的“后验概率”。每次她都能精准预测到小区里的各种动向,我觉得她才是真正的贝叶斯大师,比计算机还厉害,可惜她不用公式,全凭直觉和经验!

针对“贝叶斯式”决策场景的提问,我在项目管理中深有体会。比如评估一个新功能上线的风险,初始我会基于过往经验和团队能力(先验概率)给出一个评估。当我们在测试阶段发现新的bug或用户反馈(观测数据)时,我会利用这些数据更新我对风险的信念(后验概率),从而调整资源分配或上线计划。这种动态调整与贝叶斯推断过程高度契合,有效避免了固守旧有判断带来的潜在损失。

讲到贝叶斯在AI里的角色,我觉得简直是AI的“灵魂”啊!现在很多生成式AI(比如大模型)都开始引入贝叶斯的思想,让模型不仅能生成内容,还能评估内容的“可靠性”或者“不确定性”。未来我觉得贝叶斯可能会让AI拥有更高级的“常识推理”能力,不再是傻傻地只根据数据输出结果,而是能像人一样,基于已有经验(先验)去推断那些没见过、没训练过的事物。甚至在模拟人类大脑决策、意识研究这些更前沿的领域,贝叶斯也可能提供新的视角。说不定以后AI真能拥有“第六感”了,哈哈!