Mistral开源24B多模态小模型：单4090可跑，性能超Gemma 3

AI资讯
1

Mistral AI开源24B多模态小模型Mistral Small 3.1，单4090可运行，性能超Gemma 3，适用于多种AI任务。

原文标题：单个4090就能跑，Mistral开源多模态小模型，开发者：用来构建推理模型足够香

原文作者：机器之心

冷月清谈：

Mistral AI开源了一款24B的多模态小模型Mistral Small 3.1， 该模型性能超越Gemma 3和GPT-4o Mini，且推理速度达到150 token/秒。它可以在单个RTX 4090或32GB RAM的Mac上运行，并采用Apache 2.0开源协议，支持研究和商业用途。Mistral Small 3.1基于Mistral Small 3构建，拥有更大的上下文窗口（128k），改进的文本生成能力和新增的视觉能力。该模型适用于指令遵循、对话辅助、图像理解和函数调用等多种生成式AI任务，为企业级和消费级AI应用提供了基础。开发者已开始部署体验，Mistral Small 3.1可在Hugging Face网站上下载。此外，Mistral Small 3.1还具备轻量级、快速响应、低延迟函数调用和针对专业领域微调等特性，适用于构建推理模型和各种B端及C端应用，如文档验证、诊断、端侧图像处理等。

怜星夜思：

1、Mistral Small 3.1 这种小模型开源，对大模型的发展会带来什么影响？会不会加速大模型的平民化，让更多人用上本地部署的大模型？
2、文章里提到Mistral Small 3.1 可以针对特定领域进行微调，这个微调具体是怎么操作的？需要哪些技术储备或者工具？
3、Mistral Small 3.1 号称在单个 RTX 4090 上就能跑，但实际使用中，对硬件配置还有哪些要求？比如 CPU、内存、硬盘速度等等，有没有更详细的测试数据？

原文内容

机器之心报道
编辑：张倩

多模态，性能超 GPT-4o Mini、Gemma 3，还能在单个 RTX 4090 上运行，这个小模型值得一试。


小模型正在变得越来越好，而且越来越便宜。

刚刚，法国 AI 创企 Mistral AI 开源了一个 24B 的多模态小模型，该模型在多个基准上击败了 Gemma 3 和 GPT-4o Mini 等同类模型，而且推理速度达到了 150 个 token / 秒，称得上是又好又快。


重要的是，它只需要一个 RTX 4090 或 32GB RAM 的 Mac 就能运行，而且开源协议是 Apache 2.0，因此既能用于研究，也能商用。



具体来说，Mistral Small 3.1 是基于 Mistral Small 3 构建的。与 Mistral Small 3 相比，它的上下文窗口更大，达到了 128k（Mistral Small 3 仅为 32k），文本生成能力得到了改进，还新增了视觉能力。

Mistral 官方表示，Mistral Small 3.1 是一款多功能模型，旨在处理各种生成式 AI 任务，包括指令遵循、对话辅助、图像理解和函数调用。它为企业级和消费级 AI 应用提供了坚实的基础。

目前，部分开发者已经在自己的设备上完成了部署，并晒出了体验效果：



Mistral Small 3.1 可在 huggingface 网站 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct 上下载。

  • Mistral Small 3.1 Base：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
  • Mistral Small 3.1 Instruct：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503  

以下是该模型的详细信息。

核心特性

Mistral Small 3.1 具有以下特点：

  • 轻量级：可以在单个 RTX 4090 或具有 32GB RAM 的 Mac 上运行。这使其非常适合端侧使用情况。
  • 快速响应能力：非常适合虚拟助手和其他需要快速、准确响应的应用程序。
  • 低延迟函数调用：能够在自动化或智能体工作流中快速执行函数。
  • 针对专业领域进行微调：Mistral Small 3.1 可以针对特定领域进行微调，打造精准的主题专家。这在法律咨询、医疗诊断和技术支持等领域尤其有用。
  • 高级推理的基础：开放的 Mistral 模型已经被开发者用来构建出色的推理模型，比如 Nous Research 的 DeepHermes 24B 就是基于 Mistral Small 3 构建出来的。为了鼓励这种创新，Mistral AI 发布了 Mistral Small 3.1 的基础模型和指令检查点，以便社区进一步对模型进行下游定制。


Mistral Small 3.1 可用于需要多模态理解的各种 B 端和 C 端应用程序，例如文档验证、诊断、端侧图像处理、质量检查的视觉检查、安全系统中的物体检测、基于图像的客户支持和通用协助。

性能展示

以下是 Mistral Small 3.1 在文本、多模态、多语言、长上下文等场景中的性能表现情况。

文本指令基准


多模态指令基准


多语言指令基准


预训练性能


参考链接：https://mistral.ai/news/mistral-small-3-1

© THE END 
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com

2

我之前也尝试过对开源模型进行微调，感觉主要挑战在于数据集的准备和超参数的调整。高质量的数据集是微调成功的关键，而超参数的调整则需要耐心和经验，不同的领域和任务可能需要不同的超参数设置。可以参考一些开源的微调教程和项目，可以少走很多弯路。

3

别光看能不能“跑”，还得看跑得“爽不爽”。4090只是保证了最基本的运行，想要获得更好的推理速度和用户体验，CPU、内存、硬盘都得跟上。如果预算有限，可以优先考虑升级内存和硬盘，CPU可以稍微放宽一些。另外，散热也很重要，长时间高负载运行，散热不好容易降频。

4

虽然4090是亮点，但其他硬件也不能拖后腿。CPU方面，多核心和高主频肯定更好，可以更快地处理数据预处理和后处理。内存的话，建议至少32GB，最好64GB，否则容易出现OOM（Out of Memory）错误。硬盘速度也很重要，推荐使用NVMe SSD，可以加快模型加载和数据读取速度。具体测试数据可以关注一些评测机构或者论坛，他们通常会进行更全面的测试。

5

我觉得影响是多方面的。短期内，可能会出现更多基于这些小模型的微调和定制版本，满足各种特定需求。长期来看，如果小模型能够持续提升性能，说不定未来我们每个人都能在自己的设备上运行一个足够强大的AI助手，彻底改变人机交互的方式。

6

个人认为会加速大模型的平民化，降低算力需求后，本地部署成为可能，相当于把AI的使用权从少数拥有大量算力的机构下放到了个人开发者手中。不过，也要注意这种趋势可能带来的安全风险，比如恶意利用小模型进行攻击等。

7

这绝对是个好苗头！小模型的开源，一方面降低了AI的使用门槛，让更多开发者能够参与进来。另一方面，也能倒逼大模型厂商更加注重效率和成本，可能会出现更多针对特定场景优化的大模型，而不是一味地追求参数规模。

8

别把微调想的太复杂，其实现在有很多云平台都提供了图形化的微调界面，只需要上传数据集，选择好模型和一些基本参数，就可以自动完成微调的过程。当然，如果想要获得更好的效果，还是需要深入了解微调的原理和技巧。这里安利一个AutoTrainer，只需要上传数据就可以自动进行微调，非常方便。

9

微调通常需要准备特定领域的数据集，然后使用预训练好的模型（比如 Mistral Small 3.1）在这个数据集上进行训练。技术储备方面，需要熟悉深度学习框架（如PyTorch或TensorFlow），掌握微调的原理和技巧，以及数据处理和模型评估的方法。工具方面，可以使用Hugging Face的Transformers库，它提供了方便的API和工具，可以简化微调的过程。

10

我个人经验，除了显卡，内存也很重要。跑这种模型，内存占用会比较高，我之前16G内存直接崩了，加到32G才好点。另外，CPU其实也有影响，特别是在数据预处理阶段，CPU性能越高，处理速度越快。建议关注一些技术社区，看看其他人分享的配置和benchmark数据。