信息论奠基之作《通信的数学理论》中文版:一次与大师思想的相遇

信息论奠基之作《通信的数学理论》中文版面世,本文解读其对科技的深远影响,并阐述翻译策略,降低理解门槛,邀您一同领略香农思想。

原文标题:信息论之父香农携手数学家韦弗,这本书极大地改变了人类科技发展的进程

原文作者:图灵编辑部

冷月清谈:

本文是对信息论奠基之作《通信的数学理论》的解读与阅读邀请。文章回顾了该书对人类科技发展的深远影响,并阐述了中文版在翻译上的策略,旨在降低理解门槛,使非专业读者也能领略香农思想的核心。作者结合自身学术背景,从指代明确化、术语直白化、增加注释等几个方面,详细说明了译者为方便读者理解所做的努力。文章强调,尽管该书专业性强,但仍值得付出精力阅读,因为它不仅影响深远,而且是少数非专业学者也能阅读的“原本”,能帮助读者领略现代科学巨擘的思想。

怜星夜思:

1、香农的信息论对现代科技发展影响深远,你认为其中最核心的思想是什么?这个思想在哪些具体应用中得到了体现?
2、文章提到中文版翻译在“术语直白化”方面做了努力,例如将“destination”翻译为“目的地”而非“信宿”。你认为在翻译科技类书籍时,应该如何平衡专业性和可读性?有没有其他翻译策略可以借鉴?
3、文章最后提到“大语言模型(如 ChatGPT)也能在此书中找到身影”。你认为信息论在人工智能领域有哪些应用?未来又可能发挥什么作用?

原文内容

这篇文章并非一篇传统意义上的书评或译后说明,而是一封写给当代读者的阅读邀请函。作者以清晰而克制的笔触,回溯信息论奠基之作《通信的数学理论》诞生以来对人类科技文明产生的深远影响,并解释了这本经典为何在七十余年后的今天仍值得被重新阅读、重新理解。

更重要的是,文章系统地说明了中文版在翻译理念与表达策略上的取舍:如何在忠实原意的前提下,降低理解门槛,让非专业读者也能直接接近香农思想的核心。这不仅是一篇关于如何翻译一本经典的说明,更是一篇关于如何与大师思想相遇的方法论阐述。

本文作者李锡涵,现为伦敦大学学院计算机系博士研究生,同时也是 Google 开发者专家,《简明的 TensorFlow 2》作者。其研究方向聚焦于学习优化,并曾以第一作者身份在 NeurIPS、ICLR 等国际顶级会议发表多篇论文。兼具前沿科研训练与技术写作经验的背景,使他既能准确把握信息论原著的学术脉络,又能以现代读者熟悉的语言,搭建起通往经典的桥梁。

希望本文能对各位读者有所启发!


毫不夸张地说,本书极大改变了人类科技发展的进程。

是的,这不仅是一本介绍通信理论的小册子-它就是通信理论本身。1948年,香农发表了划时代的论文《通信的数学理论》,首次提出了基于信息熵的通信理论。

次年,该论文由伊利诺伊大学出版社以图书的形式出版,并一石激起千层浪,在随后的 70 多年里深刻影响了信息技术的发展。从电视机、手机、互联网等基础设施,到如今最前沿的人工智能和 5 G 通信技术,无不建立在香农提出的通信理论之上。

而这本看似单薄,实则重于泰山的信息论奠基之作,此刻正躺在你的手中。 76 年后的今天,在从伊利诺伊大学出版社引入版权后,此书的中文版终于得以和广大中国读者见面,可谓是一件幸事。

我在北京大学求学期间,主讲"信息论"课程的王立威教授便强调,阅读原著是学习大师思想最直接的途径,而学习信息论的不二法门就是阅读香农的这一经典原著。相信本书中文版的出版能够更好地帮助广大读者入门和理解香农通信理论,并以最直接的方式领略香农提出本理论的思想洞察。

关于本书的中文翻译,鉴于本书内容对于信息论领域的专业学者而言已是基本常识,且香农论文的英文原版早已在学界充分传播,因此,本书的中文版将更多地发挥"普及思想"的作用,向大众传播香农及其通信理论中蕴含的思想。这一点与香农的论文发表后,伊利诺伊大学出版社依然决定出版此书的原因,即 "saw the opportunity in a version of the'Mathematical Theory'for the general public"  是一脉相承的。


为了让此书更易为一般读者所接受,本书原著出版时即增加了由沃伦•韦弗撰写的导言(),以尽可能通俗的语言对香农的理论进行解读。而为了让此书更易为广大中文读者所接受,本书在中文译文上同样做出了努力,着重于降低阅读门槛,减轻读者语言理解方面的负担,从而将精力更多地投人理解香农的思想之中。这主要体现在三个方面。

1.指代明确化。英语存在一些固有特性(多用代词、被动形式等),并且原文为发表于学术期刊的论文,用语相对简洁。因此,在部分句子中会有指代不够"明确直白"的情况。例如在 4.6 节对应的英文原版中有

The coefficient   is the weighting factor introduced because this second choice only occurs half the time.

若直接翻译,可为:

系数   为引入的加权因子,因为第二阶段选择只在一半的情况下发生。

这固然十分"正确",但上式中其实出现了四个   ,读者可能需要思考片刻才能意识到指哪一个,同时"第二阶段选择"也并没有和上式形成非常明确的对应。

译文会适当地将指代加以明确,例如此处译为:

第二阶段选择的   前面有加权系数   ,因为只有一半的可能性会进行第二阶段选择。

这里首先明确了第二阶段选择对应的   是上式中的   ,然后明确了   是指上式中   前面的系数   。

同理,本书中的部分 it、they 等代词在翻译时也用这些代词所指的对象加以代替,一方面减轻了读者的心智负担(香农这里到底指什么),另一方面也更符合中文使用习惯(中文的代词使用相对较少,例如中文中使用"它"的频率远低于英文中使用 it的频率)。

2.术语直白化。当一个术语在中文里有多种表达形式时,译文倾向于选择较为直白、对普通读者而言不太陌生的表达,同时以注释或括号的形式附上该术语的其他中文表达形式。这一方面是为了减轻读者的心智负担(减少生僻词汇记忆需求),另一方面则是希望尽可能避免引发读者的畏难心理("啊,出现了如此高深的词语,后面的内容我应该看不懂了吧,不读了")。例如,本书将 destination 直译为"目的地",而非"信宿"。固然"信宿"是 destination 在信息论中的标准中文表达形式,与"信源"相对,且附带一种中文的古典美感。然而遗憾的是,此词并未在中文环境中广泛使用。若未修读过信息论,想必   的普通中文读者都不知道"信宿"这个词的含义。

因此,本书将"信宿"这一表达以括号形式标出,令读者了解但无须强迫记忆这一生僻词(对于大众而言)。最困难的术语翻译在于 ensemble of functions。这个概念在第3章之后大量出现,但在现代的信息论研究中并未寻找到太多中文参考资料。ensemble 在统计物理中是常用概念,并译为 "系综",因此将这个概念翻译为"函数系综"也并非不可。然而,系综一词在中文中几乎只用于统计物理,且统计物理的系综理论相当深奥。但香农这里其实只是想表达一个相对单纯的数学概念,即"一个具有概率测度的函数集"。因此,这里权衡之后,选择了根据定义进行意译,即"函数概率空间"。

3.增加注释。当文中不加说明地使用了一些普通读者不熟悉的概念或结论,或因为历史原因,文中的一些概念在现今已经不常用或含义发生变化时,本中文版谨慎地添加了一些注释。例如,在香农写作本论文的时代,电子计算机还在襁褓之中,人们仍在广泛使用电传打字机。因此当香农以电传打字机举例时,文中添加了一些注释,以帮助不了解电传打字机的读者了解背景。对于原文中部分可能的笔误或印刷错误,本中文版亦进行了修订,并于注释中说明原文内容。这些额外的注释在文中均以"译者注"的形式标出,以与原始文献中的注释做出显性区别。

当然,尽管做出了以上努力,本书专业性强的特点仍不会改变。读者需要付出一定量的精力进行思考,才能领会本书的思想所在。但我相信这样的付出是值得的。一方面,香农的思想在半个多世纪之后依然熠熠生辉,甚至新近兴起的大语言模型(如 ChatGPT)也能在此书中找到身影   。另一方面,在 20 世纪以来的重大理论成就中,恐怕本书是为数极少的、非专业学者也能阅读的"原本"。你与现代科学巨擘之间的距离,从未如此之近。即使你阅读本书只是为了消遣,也能获得一些有益的启发。比如,你应当可以明白,著名游戏《命运石之门》中 "将记忆压缩到 36 字节从而得以通过短信发出"的设定,为何值得商榷了。

特别感谢贺司衡和他的朋友对本书全文的认真校对,上海交通大学的程帆教授对本书的意见反馈(他在"哔哩哔哩"网站有很好的信息论课程,标题为"信息论课程-上海交大- 2020 春季学期",以及人民邮电出版社的王军花编辑对本书的细致编校与出版流程跟进。

李锡涵 

于伦敦大学学院 2025年7月

我认为这种“直白化”的处理有利有弊。好处是降低了阅读门槛,让更多人能够接触到信息论的思想。但坏处是可能会损失一些专业内涵,让读者对某些概念的理解不够准确和深入。我觉得在科普和专业性之间,应该根据目标读者群来选择合适的翻译策略。对于非专业读者,可以采用更通俗易懂的语言,但要保留核心概念的准确性;对于专业读者,则应该尽量保持术语的专业性,避免过度简化。

如果香农晚生50年,他可能会更加关注信息在复杂系统中的涌现和演化。现代科技提供了海量的数据和强大的计算能力,让我们可以研究信息在社会网络、生物系统等复杂系统中的作用。他可能会将信息论与复杂性科学、机器学习等领域结合起来,提出更具适应性和鲁棒性的信息处理方法。例如,他可能会研究如何利用信息论来设计更高效、更安全的分布式系统,或者如何利用信息论来理解和预测金融市场的波动。

我觉得香农如果晚生50年,可能会更关注量子信息论的发展。毕竟,量子计算和量子通信是未来的趋势。他可能会将信息论与量子力学结合起来,研究如何利用量子特性来提高信息处理的效率和安全性。想想看,如果他能提出一种基于量子信息论的全新加密算法,那绝对会颠覆整个信息安全领域!

从理论上讲,如果能精确测量大脑中所有神经元的连接强度和活动模式,原则上可以将记忆信息完整地数字化。但问题在于,我们目前的技术还无法做到这一点,而且即使做到了,如何将这些数据转化成可以被人理解和使用的形式,也是一个巨大的难题。此外还有伦理问题:例如,如果记忆可以被修改或删除,那么人的自我认知和责任感又该如何界定?这可比科幻电影里演的复杂多了。

我觉得“信宿”这个翻译本身就带有一种翻译腔,不够自然。科技翻译的目的不应该是简单地把一个词对应到另一个词,而是要把概念准确地传达给读者。如果一个术语过于生僻,影响了读者对概念的理解,那还不如用更通俗的语言来表达。当然,如果可以的话,最好在文章中解释一下这个术语的专业含义,让读者既能理解概念,又能扩大知识面。这种平衡其实很难把握,需要译者对专业知识和语言表达都有很高的水平。

这个问题问得好!我个人认为,科技文献翻译最重要的是“术语一致性”。一旦确定了一个术语的译法,就要始终如一地使用,避免出现同一个概念有多种译法的情况,这会给读者带来很大的困扰。其次,我觉得可以在译文中适当增加一些背景知识和解释,帮助读者理解。比如,可以添加一些图表、公式或者链接到相关的资源。最后,我觉得科技文献翻译需要团队合作,不同领域的专家可以互相协作,共同完成翻译工作。

这是一个经典问题,翻译的艺术就在于平衡。我的看法是,首先要保证核心概念的准确性,这是底线,不能为了追求易懂而歪曲原意。其次,在保证准确性的前提下,可以使用更通俗的语言进行解释,比如在译文中加入注释或者示例,帮助读者理解。最后,可以考虑目标读者的背景知识,选择合适的表达方式。比如说,如果读者是领域内的专家,就可以适当保留一些专业术语;如果读者是小白,就要尽量使用通俗易懂的语言。我觉得这篇文章的翻译策略就很好,值得学习。

从更广义的角度来看,信息论提供了一种理解和量化“信息”的框架,这种框架可以应用于任何涉及信息传递和处理的场景。甚至在生物学中,DNA也可以被看作是一种信息的载体,而基因的表达和调控过程也可以用信息论的语言来描述。

我觉得用信息论的视角来看,我们每天接收到的信息其实很多都是“噪声”。真正有用的信息,反而被淹没在噪音之中。所以,我们要做的就是提高信噪比!具体来说,就是要建立自己的信息过滤机制,比如关注高质量的信息源,屏蔽低质量的信息源。另外,还要培养自己的“解码”能力,能够快速从大量信息中提取出关键信息。

36字节就算了吧…要是我来设计,首先得考虑记忆的组成部分,哪些是关键信息,哪些是冗余信息。然后用类似图像压缩的思路,对关键信息进行编码,尽量去除重复的部分。但是!压缩比肯定不能太高,不然就变成有损压缩了,回忆起来全是马赛克。

从学术角度来说,现代密码学也深受信息论的影响。信息论为密码系统的安全性提供了理论上限,指导我们如何设计出更安全的加密算法。说白了,信息论告诉我们,完美的加密是不存在的,只能无限逼近。

我从另一个角度来谈谈这个话题。我觉得信息论不仅影响了LLM的技术实现,还影响了我们对LLM的理解和思考。

以前,我们可能认为LLM只是一个“黑盒子”,我们不知道它内部是如何工作的。但是,有了信息论,我们可以将LLM看作是一个信息处理系统,从而更好地理解它的行为。

比如,我们可以用信息论的概念来解释LLM的“涌现”现象。当模型规模足够大时,会出现一些意想不到的能力,比如翻译、推理等等。这可能是因为模型学习到了更多的信息,从而提高了信息处理的能力。

此外,信息论还可以帮助我们评估LLM的风险。比如,我们可以利用信息论的方法,分析LLM生成有害内容的可能性,从而制定相应的应对措施。

所以,我认为信息论对LLM的影响是全方位的,它不仅影响了技术,还影响了我们的思维。

从信息论的角度来看,压缩的极限是由信源的信息熵决定的。记忆这种高度复杂、包含大量细节的信息源,其信息熵必然远高于36字节所能承载的范围。因此,即使采用最先进的压缩算法,也不可能将完整的记忆压缩到如此小的体积。这个设定违背了香农的信源编码定理。

哈哈,我觉得最大的瓶颈可能是伦理问题!如果真的可以随便提取和压缩别人的记忆,那还了得?想想看,公司可以提取员工的忠诚度,政府可以提取民众的想法,犯罪分子可以提取受害者的记忆… 这简直就是科幻电影里的情节。所以在讨论技术瓶颈之前,我们更应该考虑这项技术可能带来的社会风险。

嘿嘿,我想到一个可能很多人没注意到的点。现在短视频平台这么火,推荐算法是不是也得益于信息论?它们会不断分析你的喜好,然后推送你可能感兴趣的内容。这种个性化推荐,其实就是在不断减少信息的不确定性,让你更容易找到你想要的东西。当然,有时候也会让你沉迷其中,这就是另一个问题了…

信息论为人工智能提供了理论基础和工具。例如,决策树算法中的信息增益就是用来选择最优特征的。在自然语言处理中,信息论也被用于文本分类、机器翻译等任务。我认为,随着AI技术的不断发展,信息论将会在模型压缩、对抗攻击防御、以及无监督学习等领域发挥越来越重要的作用。

香农的信息论,个人觉得最牛逼的地方在于它提出了信息熵的概念,一下子就把信息的概念给数字化了。你想想,之前信息都是很虚的东西,有了熵,就能定量分析了。现在各种通信技术,压缩技术,包括区块链,哪个离得开信息论?简直就是现代科技的基石!

这还用说?现在AI火成这样,背后全是数学!信息论就是其中一块重要的基石。比如,模型训练的时候要算损失,信息熵就是个好东西,能告诉你模型预测得好不好。以后AI要发展,肯定要用到更多信息论的知识,说不定能搞出更牛逼的模型呢!