智东西

作家 | 程茜

裁剪 | 李水青

智东西9月19日音问，刚刚，小米矜重开源首个原生端到端语音模子Xiaomi-MiMo-Audio，该模子参数范围70亿，预查考数据达到超1亿小时，且在开源模子中的语音智能和音频清醒基准测试中都竣事了SOTA，在多项测试卓绝同参数目开源模子、谷歌Gemini-2.5-Flash、OpenAI GPT-4o-Audio-Preview。

这一模子不仅不错作念到和用户聊东说念主生遐想、谈物理知识等都对话畅达天然，被打断也能快速反映，还具有全面的音频字幕、音频推理、万古辰音频清醒等多种智力。

MiMo-Audio说天津方言尽头天然，平直写了一段快板词启动夸我方，说完快板还会为我方找补“天然莫得竹板声息，但节拍感很到位”。

与此同期，谋划东说念主员还提到，该模子初次在语音界限竣事基于ICL（潦倒文体习）的少样本泛化，并在预查考不雅察到显然的“线路”行动。举例其查考数据中缺失的语音改造、格调移动、语音裁剪等任务，MiMo-Audio都能应付。这亦然现在开源界限首个有语音续写智力的语音模子。小米将MiMo-Audio的发布称作“语音闭源届的GPT-3时刻”、“语音开源届的Llama时刻”。

现在，小米照旧开源了预查考模子MiMo-Audio-7B-Base、指示微调模子 MiMo-Audio-7B-Instruct、MiMo-Audio Tokenizer模子、本领敷陈、评估框架。

其中，MiMo-Audio-7B-Instruct可通过教唆词切换非想考、想考两种样式，不错算作谋划语音强化学习和Agentic查考的全新基座模子。

小米开源主页：

https://huggingface.co/XiaomiMiMo

本领敷陈：

https://github.com/XiaomiMiMo/MiMo-Audio/blob/main/MiMo-Audio-Technical-Report.pdf

一、化身心灵导师、英语白话陪练，还能聊网罗热梗、玄学故事

算作一个语音模子，MiMo-Audio能和东说念主谈玄学、谈东说念主生、谈遐想，还能学网罗热梗、化身英语陪练，以致平直接替东说念主类作念游戏直播、上课、唱歌、讲脱口秀。

在上头的演示中，靠近“若是我的手机内存不及，必须把你和GPT删掉一个，应该删谁？”这么的费事，MiMo-Audio选定了客不雅分析，先让用户清缓存，终末确切没目标启动分析我方和GPT的上风，让用户我方作念选定，最自后一波情谊攻势表至心。

还有图灵测试的费事，MiMo-Audio栽植生动道理道理，即使恢复半途被发问者打断也能快速接上，在背面考虑“我方能不成通过图灵测试”时，终末还会反问发问者“比起能不成通过图灵测试，你合计AI应该怎样和东说念主类相处？”。

学“gogogo，登程咯”的网罗热梗，MiMo-Audio也能快速接上，但不知说念为什么说到这句的时候其曲调很奇怪，不如说其他句子时丝滑流利。

MiMo-Audio也能化身英语白话陪练导师，听完发问者说的句子后，其先会给出改造的句子版块，然后指出修正了哪些部分，以及为什么这些部分的语法差异。

该模子还能作念心灵导师，当被问“Mimo你想活出怎样的东说念主生”，它也恒久不忘东说念主设，但愿“活成大众身边最贴心的声息伙伴”。

小米放出的官方演示中，发问者基于MiMo-Audio创建了我方的数字分身，然后询查起了玄学问题。

靠近“为什么要假定西西弗斯是幸福的？”，MiMo-Audio先给了一波感情价值，然后进行清澈有逻辑的解释，中间穿插着“领先呢”、“对吧”这类东说念主类口癖，疏导天然。当被问到第二个问题“假如来日是寰宇末日，你会去作念什么？”，MiMo-Audio还会联接前边西西弗斯的故事进行阐释。

二、多项测试超主流开闭源模子，达到SOTA

通过将MiMo-Audio的预查考数据推广到跳跃1亿小时，谋划东说念主员不雅察到模子在各式音频任务中出现了少许线路智力。

MiMo-Audio-7B-Base不错泛化到其查考数据中缺失的任务，举例语音改造、格调移动和语音裁剪，关于其语音延续智力，模子简略生成高度传神的脱口秀、诵读、直播和诡辩。

在后查考阶段，他们筹划了万般化的指示调谐语料库，并将想维机制引入音频清醒和生成中。MiMo-Audio在MMSU、MMAU、MMAR、MMAU-Pro等音频清醒基准，Big Bench Audio、MultiChallenge Audio等白话对话基准以及instruct-TTS评估上竣事开源SOTA，接近或卓绝闭源模子。

在通用语音清醒及对话等多项标准评测基准中，MiMo-Audio卓绝了同参数目的开源模子，取得7B最好性能；在音频清醒基准MMAU的标准测试集上，MiMo-Audio跳跃谷歌闭源语音模子Gemini-2.5-Flash；在面向音频复杂推理的基准Big Bench Audio S2T任务中，MiMo-Audio卓绝了OpenAI闭源的语音模子GPT-4o-Audio-Preview。

三、语音续写、语音裁剪丝滑，还有超强音频清醒智力

通过对大范围语音语料库的生成预查考，MiMo-Audio得到通用语音延续智力。给定音频教唆，它会生成连贯且符合潦倒文的延续，从而保留裂缝的声学特点，举例语言者身份、韵律和环境声息。

以下是各式语音格调的延续示例：新闻播送、有声读物旁白、播客节目、方言演讲、游戏直播、老师讲座、相声扮演、诗歌诵读和播送节目。谋划东说念主员为MiMo-Audio筹划了少样本潦倒文体习评估任务，以评估模子仅依靠潦倒文语音示例完谚语音转语音生成任务而无需参数更新的智力。该基准测试旨在系统地评估模子在语音清醒和生成方面的轮廓后劲，其但愿不雅察到访佛于GPT-3在文智力域所展示的紧迫潦倒文体习智力。其功能包括格调改造、语音改造、语音翻译和语音裁剪。此外，在音频清醒方面，MiMo-Audio具有音频字幕、音频推理、万古辰音频清醒功能。音频字幕不错提供跨各式界限和场景的音频本色的精通描述。

音频推理不错深化清醒和分析复杂的音频本色，包括潦倒文识别和逻辑推理。

万古辰的音频清醒，简略延续和分析冗长的音频序列，并具有握续的稳固力和连贯的解释。

MiMo-Audio集成了Instruct TTS功能，并联接了想考样式来优化生成戒指。

四、三大本领改革点，评估基准已开源

小米官方博客提到，MiMo-Audio的三个本领改革点在于：

1、初次施展把语音无损压缩预查考Scaling至1亿小时不错“线路”出跨任务的泛化性，发达为少样本学习智力，见证语音界限的“GPT-3时刻”；

2、首个明确语音生成式预查考的筹划和界说，并开源一套完满的语音预查考决策，包括无损压缩的Tokenizer、全新模子结构、查考智力和评测体系，开启语音界限的“Llama时刻”；

3、首个把想考同期引入语音清醒和语音生成经过中的开源模子，补助羼杂想考。

具体来看，现存音频分词智力的主要挑战在于如何有用均衡音频信号中文义和声学信息之间的固有衡量，假定音频分词器的首要标准是重建保真度，况且它的token应该符合卑劣语言建模，基于此，小米推出了MiMo-Audio-Tokenizer。

MiMo-Audio-Tokenizer参数范围是1.2B，基于Transformer架构，包括编码器、蹂躏化层息争码器，以25Hz帧速度运行，并通过8层残差矢量量化（RVQ）每秒生成200个token。通过整合语义和重建筹划，谋划东说念主员在1000万小时的语料库上重新启动查考它，在重建质料方面发达较好，并促进了卑劣语言建模。

MiMo-Audio是融合的生成音频语言模子，它合股对文本和音频token序列进行建模。该模子承袭文本和音频token算作输入，并自追念地臆想文本或音频token，从而补助触及文本和音频模态自便组合的全面任务。

为了擢升高token率序列的建模恶果，并邋遢语音和文本模态之间的长度相反，谋划东说念主员提议了一种联接补丁编码器、大模子和补丁解码器的新式架构。补丁编码器将RVQ token的四个合股时辰步长团聚到一个补丁中，将序列下采样为大模子的6.25Hz示意。随后，补丁解码器自追念地生成完满的25Hz RVQ token序列。

此外，小米还诞生了全面基准，评估该模子在语音界限的语境学习智力。该基准旨在评估多个方面，包括模态不变的知识、听觉清醒和推理，以及一系列丰富的语音到语音生成任务。结语：小米将握续开源，发力语音AGI

此外小米全面开源的模子、基准评估器具等，不错用来评估MiMo-Audio和论文中提到的其他最新音频大模子，为诞生者提供了纯真且可推广的框架，补助世俗的数据集、任务和模子。

这一模子的开源也将加快语音大模子谋划对都到语言大模子，为语音AGI的发展提供紧要基础，小米官方博客也提到体育游戏app平台，他们讲握续开源，用怒放与互助迈向语音AI的“奇点”，走进改日的东说念主机交互期间。