谷歌发布Gemini，首超人类，具备超强的多模态处理能力。
原文标题：谷歌深夜推出Gemini，最强原生多模态史诗级碾压GPT-4！语言理解首超人类
原文作者：数据派THU
冷月清谈：
谷歌在12月发布了新一代AI模型Gemini，采用原生多模态架构，声称超越了GPT-4的多项性能指标。Gemini不仅具备强大的文本处理能力，更能理解视频和音频，实现真正的多模态交互。该模型的体量达到万亿参数，训练计算能力是GPT-4的五倍，表现优异，尤其在数学推理和复杂问题上首次超越人类专家。Gemini的发布标志着AI模型的一次重大飞跃，谷歌计划将其广泛应用于搜索引擎、广告等多个领域，未来还将加入更多感官能力。与此同时，谷歌也推出了基于Gemini的Coding AI：AlphaCode 2，展现出超过85%人类程序员的编程能力，预示着AI技术的不断进化和应用前景。
怜星夜思：
1、Gemini的多模态能力意味着什么？
2、Gemini超越GPT-4，会对AI竞争带来什么影响？
3、多模态AI应用在教育领域的潜力如何？
2、Gemini超越GPT-4，会对AI竞争带来什么影响？
3、多模态AI应用在教育领域的潜力如何？
原文内容
本文约3700字，建议阅读5分钟传说中的Gemini，终于上线了！「原生多模态」架构，是谷歌的史诗级创举，Gemini也如愿在多个领域超越了GPT-4。这场仗，谷歌必不能输。
谷歌的复仇大杀器Gemini，深夜忽然上线！
被ChatGPT压着打了整整一年，谷歌选择在12月的这一天，展开最强反击战。
多模态Gemini，迄今规模最大、能力最强的谷歌大模型，在文本、视频、语音等多个领域超越了GPT-4，是真正的一雪前耻。
人类有五种感官，我们所建造的世界、所消费的媒体，都是以这样的方式所呈现。
而Gemini的出现，就是迈向真正通用的AI模型的第一步！
Gemini的诞生，代表着AI模型的巨大飞跃，谷歌所有的产品，都将随之改头换面。
塞进多模态模型的搜索引擎、广告产品、Chrome浏览器……这，就是谷歌给我们的未来。
多模态的史诗级创新
以前，多模态大模型就是将纯文本、纯视觉和纯音频模型拼接在一起，就像OpenAI的GPT-4、DALL·E和Whisper那样。然而，这并不是最优解。
相比之下，在设计之初，多模态就是Gemini计划的一部分。
从一开始，Gemini就在不同模态上进行了训练。随后，研究人员又用额外的多模态数据进行了微调，进一步提升了模型的有效性。最终，实现了「无缝」地理解和推理各种模态的输入内容。
从结果上来看，Gemini的性能要远远优于现有的多模态模型，而且它的功能几乎在每个领域都是SOTA级别的。
而这个最大、最有能力的模型，也意味着Gemini可以用和人类一样的方式理解我们周围的世界，并且吸收任何类型的输入和输出——无论是文字，还是代码、音频、图像、视频。
Gemini猜对了纸团在最左边的杯子里
Google DeepMind首席执行官兼联合创始人Demis Hassabis表示，谷歌一直对非常通用的系统感兴趣。
而这里最关键的，就是如何混合所有这些模式，如何从任意数量的输入和感官中收集尽可能多的数据，然后给出同样多样化的响应。
DeepMind和谷歌大脑合并后，果然拿出了真东西。
之所以命名为Gemini，就是因为谷歌两大AI实验室的合体，另外也一个解释是参考了美国宇航局的Gemini项目，后者为阿波罗登月计划铺平了道路。
首次超越人类，大幅碾压GPT-4
虽然没有正式公布，但根据内部消息，Gemini有万亿参数，训练所用的算力甚至达到GPT-4的五倍。
既然是被拿来硬刚GPT-4的模型，Gemini当然少不了经历最严格的测试。
谷歌在多种任务上评估了两种模型的性能，惊喜地发现：从自然图像、音频、视频理解到数学推理，Gemini Ultra在32个常用的学术基准的30个上，已经超越GPT-4！
而在MMLU（大规模多任务语言理解）测试中，Gemini Ultra以90.0%的高分，首次超过了人类专家。
MMLU测试包括57个学科，如数学、物理、历史、法律、医学和伦理，旨在考察世界知识和解决问题的能力。
在这50多个不同学科领域中的每一个中，Gemini都和这些领域最好的专家一样好。
谷歌为MMLU设定的新基准，让Gemini在回答复杂问题前，能够更仔细地发挥推理能力，相比于仅依赖于直觉反应，这种方法带来了显著提升。
在新的MMMU基准测试中，Gemini Ultra也取得了59.4%的高分，这一测试包括了跨越不同领域的多模态任务，这些任务需要深入的推理过程。
图像基准测试中，Gemini Ultra的表现也超过了之前的领先模型，而且，这一成就是在没有OCR系统帮助的情况下实现的！
种种测试表明，Gemini在多模态处理上表现出了强大的能力，并且在更复杂的推理上也有着极大潜力。
详情可参阅Gemini技术报告：
报告地址：https://storage.googleapis.com/deepmind-media/gemini/gemini_1_report.pdf
中杯、大杯、超大杯！
Gemini Ultra是谷歌迄今为止创建的最强大LLM最大，能够完成高度复杂的任务，主要面向数据中心和企业级应用。
Gemini Pro是性能最好的模型，用于广泛的任务。它会为许多谷歌的AI服务提供动力，并且从今天起，成为Bard的支柱。
Gemini Nano是最高效的模型，用于设备端任务，可以在安卓设备上本地和离线运行，Pixel 8 Pro的用户就能马上体验到。其中，Nano-1的参数为1.8B，Nano-2为3.25B。
Gemini最基本的模型能做到文本输入和文本输出，但像Gemini Ultra这样更强大的模型，则可以同时处理图像、视频和音频。
不仅如此，Gemini甚至还能学会做动作和触摸这种更像机器人的功能！
以后，Gemini会获得更多的感官，变得更加有意识，更加准确。
虽然幻觉问题仍然不可避免，但模型知道的越多，性能就会越好。
文本、图像、音频精准理解
Gemini 1.0经过训练，可以同时识别和理解文本、图像、音频等各种形式的输入内容，因此它也能更好地理解细微的信息，回答与复杂主题相关的各类问题。
比如，用户先是上传了一段非英语的音频，然后又录了一段英语的音频来提问。
要知道，一般设计音频的归纳，都是用文字输入prompt。而Gemini却可以同时处理两段不同语言的音频，精准输出所需要的摘要内容。
更厉害的是，如果我想做一个煎蛋，不仅可以用语音问Gemini，还可以把手头有的食材拍个照片一并发过去。
然后，Gemini就会结合音频中发送的需求，以及配图中的食材，手把手教你该怎么做好一个煎蛋。
甚至，每完成一步，都可以拍个照片，而Gemini则可以根据实际进度继续指导下一步该做什么。
手癌星人、不会做饭星人都有救了！
而且，这项能力还这使Gemini特别擅长解释数学和物理等复杂学科的推理问题。
比如，家长想在辅导孩子作业的时候省点事，该怎么办呢？
答案很简单，直接拍张图上去，Gemini的推理能力足以解决数学、物理等各类理科问题。
针对其中任何一个步骤，都可以追问Gemini来获得更具体的解释。
甚至，还可以就出错的点，直接让Gemini输出一个和出错类型相似的题目巩固一下。
复杂推理轻松搞定
此外，Gemini 1.0具有的多模态推理能力，可以更好地理解复杂的书面和视觉信息。这使得它在发掘埋藏在海量的数据中难以辨别的知识方面具有优越的性能。
通过阅读、过滤和理解信息，Gemini 1.0还能够从成千上万的文档中提取出独到的观点，从而助力从科学到金融等众多领域实现新的突破。
AlphaCode 2：编码能力超85%人类选手
当然，基准测试终究只是测试，对Gemini的真正考验，是想要用它来写代码的用户。
写代码，就是谷歌为Gemini打造的杀手级功能。
Gemini 1.0模型不仅可以理解、解释和生成世界上最主流的编程语言，比如Python、Java、C++和Go的高质量代码。同时它能够跨语言工作，并对复杂信息进行推理。
从这一点看，Gemini毫无疑问会成为世界领先的编程基础模型之一。
两年前，谷歌推出过一款叫做AlphaCode的产品，它也是第一个在编程竞赛中达到具有竞争力水平的AI代码生成系统。
而基于定制版的Gemini，谷歌推出了更先进的代码生成系统——AlphaCode 2。
在面对不仅涉及编程，还涉及复杂的数学和计算机科学理论等领域的问题时，AlphaCode 2都表现出了卓越的性能。
在与初代AlphaCode同样的测试平台上，谷歌的开发人员也对AlphaCode 2进行了测试。
结果显示，新模型展现出了显著的进步，解决的问题数几乎是之前AlphaCode的两倍。
其中，AlphaCode 2编程的性能超过了85%的人类程序员，相比之下，AlphaCode只超过了约50%的程序员。
不仅如此，当人类程序员与AlphaCode 2协作时，人类程序员为代码样例设定特定的要求，Alphacode 2的性能会进一步提升。
AlphaCode 2的运作依托于强大的LLM，并结合了专为竞赛编程设计的先进搜索和重排机制。
如下图所示，新的模型主要由以下几部分组成：
- 多个策略模型，用于为每个问题生成各自的代码样本；- 采样机制，能够生成多样化的代码样本，以在可能的程序解决方案中进行搜索；- 过滤机制，移除那些不符合问题描述的代码样本；- 聚类算法，将语义上相似的代码样本进行分组，以减少重复；- 评分模型，用于从10个代码样本集群中筛选出最优解。
详情可参阅Alpha Code 2技术报告：
报告地址：https://storage.googleapis.com/deepmind-media/AlphaCode2/AlphaCode2_Tech_Report.pdf
更可靠、更高效、可扩展
对谷歌来说同样重要的是，Gemini显然是一个效率更高、更可靠、可扩展的模型。
它是在谷歌自己的张量处理单元上训练的，比谷歌以前的模型（如PaLM）运行起来更快、更便宜。
开发人员使用了谷歌内部研发的张量处理单元TPU v4和v5e，在AI优化的基础设施上对Gemini 1.0进行了大规模的训练。
而可靠、可扩展的训练模型和最高效的服务模型，就是谷歌做出Gemini的重要目标。
在TPU上，Gemini的运行速度明显快于早期规模较小、能力较弱的模型。这些定制设计的AI加速器是谷歌大模型产品的核心。
要知道，这些产品为搜索、YouTube、Gmail、谷歌地图、Google Play和Android等数十亿用户提供服务。它们还帮助了世界各地的科技公司经济、高效地训练大模型。
除了Gemini，谷歌在今天还发布了迄今为止最强大、最高效，并且可扩展的TPU系统——Cloud TPU v5p，专为训练尖端的AI模型而设计。
新一代TPU将加速Gemini的发展，帮助开发人员和企业客户更快地训练大规模生成式AI模型，开发出新产品和新功能。
Gemini，让谷歌再次伟大？
显然，在Pichai和Hassabis看来，Gemini的发布仅仅是一个开始——一个更大的项目即将开启。
Gemini是谷歌一直在等待的模式，在OpenAI和ChatGPT接管世界后，Gemini是谷歌探索一年得出的结论。
发布「红色警报」后，谷歌一直在追赶，但两人都表示，不愿意为了跟上步伐而走得太快，尤其是我们越来越接近AGI。
Gemini是否会改变世界？最好的情况是，它能帮谷歌在生成式AI竞赛中赶上OpenAI。
但劈柴、Hassabis等人似乎都认为，这是谷歌真正伟大的开始。
发布的技术报告，没有透露架构细节、模型参数或训练数据集。
艾伦人工智能研究所前CEO Oren Etzioni说，「没有理由怀疑Gemini在这些基准上比GPT-4更好，但没准GPT-5会比Gemini做得更好。」
打造像Gemini这样的巨量模型，可能需要花费数亿美元，但对于在通过云提供AI占据主导地位的公司来说，最终的回报可能是数十亿甚至数万亿美元。
「这是一场不能失败，必须打赢的战争。」
参考资料：
https://blog.google/technology/ai/google-gemini-ai/#availability
https://deepmind.google/technologies/gemini/#hands-on
编辑：文婧
