这项由清华大学自然语言处理实验室（THUNLP）主导、OpenBMB开源社区联合推出的研究成果，于2026年4月30日以预印本形式发布在arXiv平台，编号为arXiv:2604.27393。感兴趣的读者可通过这个编号检索到完整论文。
**一场关于"耳朵和嘴巴能否同时工作"的思考**
你和朋友打电话时，两个人可以同时说话、同时听对方讲话，哪怕对方说了让你意外的话，你也能立刻插嘴或改变话题。这种能力在人类看来再自然不过，但对于目前的AI助手来说，却是一道几乎无法逾越的技术高墙。
绝大多数AI对话系统的工作方式，就像一部老式对讲机：它先听你说完，按下"切换"键，然后才开始回答。在它回答的那段时间里，即便你说了什么新的话、现场发生了什么新的变化，它也完全感知不到——它的耳朵和嘴巴是串联在一起、轮流工作的，而不是并联在一起、同时运转的。
这个问题乍看起来只是个小麻烦，但仔细想想，它会造成很多现实困境。假设你正在用AI辅助做手术记录，手术中途突发状况，你喊了一声"等等，有出血点！"，但AI还在念它上一段话，完全没法及时响应。又或者你用AI做实时的体育解说，球刚进门，AI还在描述上半场的战术，等它反应过来，全场观众已经欢呼了十秒钟了。
正是为了解决这个问题，清华大学团队推出了MiniCPM-o 4.5，这是他们声称的**全球首个支持实时全双工全模态交互**的开源大型多模态语言模型。全双工，就是前面说的"耳朵和嘴巴可以同时工作"；全模态，是指它能同时处理图像、视频、语音和文字，四种信息通道全部打通。
**一、问题根源：为什么现有AI的"嘴"和"耳朵"不能同时工作？**
要理解这个研究的价值，得先搞清楚为什么现有的AI做不到同时感知和回应。
现有的多模态AI系统，无论是语音助手还是视频理解模型，基本都遵循一种"先收集、再处理、再输出"的流水线模式。这有点像传统的电话录音客服：它先把你说的话完整录下来，然后暂停，分析你说了什么，然后生成一段回复，再播放给你听。整个过程是严格分阶段的，感知和输出之间有一道清晰的"隔断墙"。
这道墙带来了两个后果。第一个后果，研究者称之为"阻塞式I/O"——就像网络上传文件时必须等上传完才能下载，AI必须等把你的话"上传"完才能开始"下载"它的回应。第二个后果是被动性——现有AI只会在你明确发出请求时才反应，它不会主动根据正在观察到的环境变化说话，就像一个只有被问到才开口的沉默服务员，而不是一个能主动说"先生，您的杯子空了"的细心侍者。
研究团队认为，突破这两个局限，才是向真正人类化交互迈进的关键。
**二、核心技术：一根"时间轴"串起了所有感知和输出**
MiniCPM-o 4.5的核心技术叫做**Omni-Flow**（全模态流），这个名字起得很形象——它把所有的感知输入和语言输出，都挂在同一条"时间流"上，像水流一样连续向前推进，不再有停顿和切换。
用一个更具体的比喻来理解：传统AI交互就像古代的驿站传信——信使（感知模块）把信送到驿站（AI大脑），AI处理完毕后，再派另一个信使（输出模块）送出去。两个信使是不能同时出发的。而Omni-Flow的做法，是把感知和输出都变成了一条双向铁路，两个方向的列车可以同时运行，互不干扰，而且都在同一张地图上知道彼此的位置。
技术层面上，Omni-Flow把连续的交互过程切分成非常短的"时间窗口"，研究者称之为"时间块"（time chunk）。在每一个时间块内，AI同时做两件事：一是把这段时间新收到的视觉和听觉信息纳入进来，二是继续生成输出（说话或者写字）。当时间块的长度足够短，感知和输出就自然形成了实时的并行，从外部看起来就像是真正的"同时进行"。
研究团队对这个时间块的长度做了系统性测试，分别尝试了1.0秒、0.2秒和0.1秒三种设定。结果发现，时间块太短，模型每次获得的信息太少，无法做出稳定判断；1.0秒的设定表现最好，在响应及时性和决策质量之间取得了最佳平衡。
除了时间粒度，研究团队还研究了两个重要的设计细节。第一个是"边界显式性"——也就是要不要在每个时间块的输入和输出之间加上明确的分隔符号。测试表明，加了分隔符的模型表现明显更好，因为这帮助AI清楚地区分"我正在收到的新信息"和"我正在生成的输出"，避免了混淆。第二个是"控制与生成的解耦"——研究者发现，让AI先用一个专门的控制信号决定"此刻是否应该开口说话"，然后再决定"说什么"，比把这两个决策合并成一个预测要稳定得多。这就像好的演讲者会先在脑子里判断"现在是不是该说话的时机"，然后才去想说什么内容，而不是两件事同时乱成一团。
**三、说话的艺术：让语音输出和现实时间保持同步**
有了同时感知和说话的能力之后，一个新问题出现了：如何确保AI说的每一句话，都和它当前正在看到、听到的东西紧密匹配？
这听起来可能不是问题，但实际上很棘手。AI生成文字的速度和人说话的速度并不相同——有时候AI在一秒内就能"想好"要说的五个词，但要把这五个词"说出来"可能需要两秒钟。如果AI一直把"想好的话"堆积起来、等到播放时才慢慢放出，那么你在听到的语音，实际上对应的是几秒前的思考状态，就像在看一部严重口型对不上的配音电影——说的和在演的完全是两回事。
为了解决这个问题，研究团队提出了一个叫**TAIL**（时间对齐交织，Time-Aligned Interleaving）的策略。用烹饪来打比方，传统方法是先把所有的菜炒完，再一起端上桌；TAIL的做法是根据每道菜的烹饪时间动态调整下锅顺序，确保每一道菜都恰好在最佳时机出锅上桌。
具体来说，TAIL会追踪整个交互过程中"文字生成"和"语音播放"之间的累积差值。如果此前几个时间块里文字生成得太多，导致语音播放已经落后了，TAIL就会在当前时间块里少生成一些文字，让语音播放有机会"追上来"。反之亦然。这样一来，AI嘴里说出的话，始终对应着它当前所处的感知状态，不会出现"人已经在讨论球门前的进攻，AI还在说守门员的站位"这种时间错位。
TAIL还加入了一个"有限前瞻"机制——AI允许在生成当前语音时，参考紧接在后面的极少量文字。这是因为语言本身有上下文依赖，比如英文中"the"这个词在"the apple"和"the car"里的发音是不同的，没有一点点"向前看"的能力，语音质量会下降。但这个前瞻被严格限制在很小范围内，不会破坏整体的时间对齐效果。
**四、AI的"身体结构"：端到端的全模态架构**
MiniCPM-o 4.5的整个架构，就像一个全感官打通的生命体，所有信息处理都通过同一套神经网络连通、协同工作，而不是几个独立模块拼凑在一起。
视觉感知部分使用了一个叫SigLIP ViT的视觉编码器（参数规模约4亿），它负责把输入的图像或视频帧转换为AI可以理解的"视觉语言"。为了节省计算资源，研究团队设计了一个16倍压缩率的重采样模块——每张图像切片原本会产生1024个特征"词元"（token，可以理解为AI读取信息的基本单位），经过压缩后只剩64个，大大减轻了后续处理的负担，同时保留了足够的视觉细节。在全双工流式模式下，最大分辨率为448×448像素；在传统的非流式模式下，则可以支持高达2240×2240像素的高清输入。
听觉感知部分使用了Whisper Medium作为音频编码器（参数规模约3亿），以流式分块的方式处理输入音频，每秒生成50个特征词元，随后通过一个两层的神经网络将其压缩为每秒10个词元传给主干模型，实现5倍的时间压缩。
整个系统的"大脑"是Qwen3-8B，一个拥有约82亿参数的大型语言模型，负责理解所有输入信息并决定输出什么文字内容。关键的设计决策是：这个大脑只负责生成文字词元，而不需要直接生成语音词元。研究者指出，让语言模型直接生成语音词元（通常每秒约25个）会严重拖慢整体效率，同时还会损害语言理解能力本身——毕竟让一个文学博士同时跑百米、还要保持思维清晰，难度会倍增。
语音输出则由一个专门的轻量级"语音词元解码器"负责，参数规模仅约3亿，基于Llama架构构建。它会接收主语言模型生成的文字及对应的隐藏状态（hidden states，可以理解为语言模型"思考过程"中产生的中间信号），将两者融合后生成语音符号序列。这样的好处是，语音的韵律、情感、重音等特性，可以从语言模型丰富的语境理解中汲取，而专门的语音解码器则专注于发音本身，各司其职。最后，还有一个流式流匹配解码器（streaming flow-matching decoder）把语音符号序列转换为真实的音频波形，支持根据参考音频实现声音克隆。
所有这些组件——视觉编码器、音频编码器、语言模型主干、语音解码器——都通过词元级别的隐藏状态连接，形成一个可以端到端联合训练的整体。用一句话总结：整个系统就像一个有机体，所有感官和表达能力都通过同一套神经系统传递和整合信息，而不是几台独立机器通过管道连接。
**五、喂给AI的"食材"：大规模多模态训练数据**
再好的架构，没有高质量的训练数据也是空谈。MiniCPM-o 4.5的数据工作相当细致，横跨语音、视觉语言和全模态全双工三个维度。
语音数据方面，团队处理了数百万小时的无标注自然语音素材，来源多样，涵盖不同口音、不同说话风格和不同主题的对话，从中生成了用于零样本语音合成（Zero-shot TTS）、自动语音识别（ASR）和多轮对话的训练集。此外，还有一批由专业配音演员在录音室录制的高质量对话语料——演员们不是机械地朗读剧本，而是以真实的对话风格表演，加入了情绪变化、语速调整和即兴表达，使得这批数据极具自然语音的真实质感。
视觉语言数据方面，团队基于此前的MiniCPM-V 4.5数据体系进行了大幅扩充和质量升级。他们更新了图像标注生成流程，改进了图文相关性的过滤机制。在文档和OCR数据方面，引入了一种"相关性感知遮蔽"策略，不再随机遮蔽文字区域，而是优先遮蔽与图表、图像内容关联更密切的区域，迫使模型学会真正理解视觉内容，而不是单纯靠文字上下文猜答案。视频数据方面，团队专门构建了一个密集视频描述数据集，提供对时间事件、人物动作和场景变化的连续细粒度描述，强化了模型对跨帧时序的理解能力。
全模态全双工数据方面，训练样本同时包含视觉输入、音频输入、文字输出和语音输出，且每一条信息都带有时间戳标注。大规模网络音视频数据首先被自动过滤，排除了单说话人、音视频关联度低、含有字幕水印或画面质量差的片段。此外，团队还手工设计了多种特定的全双工交互场景，制作了高质量的标注样本，支撑"连续场景描述"和"主动提醒"等高级能力。
**六、循序渐进的训练流程**
数据准备好之后，如何训练也有讲究。MiniCPM-o 4.5的训练分为四个阶段，逐步叠加能力。
第一阶段是语音预训练。以MiniCPM-V 4.5的视觉语言预训练检查点为基础，冻结已有参数，只训练新添加的音频处理相关模块。这个阶段的目标是打通音频编码器和语言模型主干之间的"语言"，让语言模型能够理解音频信号，同时也让语音解码器学会把语言模型的隐藏状态转化为有语义和韵律的语音符号。
第二阶段是联合预训练。解冻所有参数，在视觉语言、语音和全模态数据的混合语料上统一训练。这个阶段的数据配比经过精心设计，每个训练步骤都保持固定的模态比例，确保各模态之间的均衡学习，避免某一模态的数据过多而导致其他模态能力退化。
第三阶段是联合有监督微调。分两步进行：先用大规模指令跟随数据做广泛的能力适配，再用高质量人工标注数据做细粒度的行为优化。为了支持部署时的灵活调整，训练时还刻意混入了不同分辨率和帧率的视频数据。
第四阶段是强化学习。团队使用了GRPO算法（一种无需价值网络的策略梯度强化学习方法）来提升推理能力和指令遵循能力，奖励信号来自答案准确率和格式合规性。为了提高计算效率，还引入了一种平滑长度奖励机制：对答对问题且回答更简洁的情形给予更高奖励，但不惩罚必要的详细推理步骤。团队还特别引入了RLAIF-V技术来降低幻觉（AI编造虚假信息）的概率，并发现从图像文本数据上学到的反幻觉能力，可以自然迁移到全双工流式交互场景中——这是一个有趣的发现，意味着幻觉问题的解法具有跨场景的通用性。
**七、测试成绩：从视觉理解到语音生成的全面评估**
MiniCPM-o 4.5接受了横跨视觉语言理解、语音理解与生成、文字能力和全模态流式交互四大类别的系统性评测。
视觉语言理解方面，在包含8个主流多模态基准测试的OpenCompass综合榜单上，MiniCPM-o 4.5在普通指令模式下得分77.6，推理思考模式下达到78.2。作为一个9B参数规模的模型，它超越了同规模的InternVL3.5-8B和Qwen3-VL-8B，也超越了参数规模更大的Qwen3-Omni-30B-A3B（约300亿参数，每次激活约30亿），并接近谷歌的Gemini 2.5 Flash这样的顶级商业模型。在文档理解和OCR（光学字符识别）领域，MiniCPM-o 4.5的表现尤为突出——在OmniDocBench英文和中文评测上，它以压倒性优势超越了所有参与比较的模型，其中英文得分（误差率0.109）几乎是Gemini 2.5 Flash（0.214）的一半。在多图像理解和抗幻觉能力测试上，它也取得了领先成绩。视频理解方面，在MLVU多任务长视频理解榜单上得分76.5，处于前列。
语音能力方面，在中文和英文语音合成质量评测（SeedTTS测试集）上，MiniCPM-o 4.5的字符/词错误率（衡量语音清晰度和准确度的指标）分别为0.86%和2.38%，优于CosyVoice2和Qwen3-Omni的成绩。在长文本语音合成稳定性测试LongTTS上，英文词错误率仅3.37%，远低于CosyVoice2的14.80%和Qwen3-Omni的17.33%——这意味着它在生成长段英文语音时不会出现明显的错误累积。在情绪和风格控制评测上，它也显著优于对比模型，表明其语音生成不只是"读字"，而是能根据内容语境调整语调和情感。语音理解方面，在CoVoST 2英译中测试上得分49.9，在VoiceBench指令跟随评测上得分4.81（满分5分），在语音问答能力上也有亮眼表现。
文字能力方面，MiniCPM-o 4.5在绝大多数纯文字评测任务上不仅没有退步，反而略微超过了它的底座语言模型Qwen3-8B-Instruct，综合平均分从81.6提升到82.1。这表明多模态联合训练不但没有损害语言能力，反而通过更丰富的数据带来了微弱的语言能力增益。
全双工流式交互方面，在LiveSports-3K-CC这个持续视觉流理解基准上，MiniCPM-o 4.5取得了54.4的胜率，比LiveCC（41.5）高出近13个百分点，比StreamingVLM（45.6）高出约9个百分点。在需要同时理解音频和视频的全模态理解测试上，在Daily-Omni、WorldSense、Video-Holmes、JointAVBench和AVUT-Human五项测试中都取得了最佳成绩，超越了包括Gemini 2.5 Flash和Qwen3-Omni-30B-A3B在内的所有对比模型。
**八、跑在手机上的AI：边缘设备的实际部署**
一个再强大的模型，如果只能跑在昂贵的服务器机房里，对普通用户来说也只是一个遥远的概念。MiniCPM-o 4.5的一个重要目标，就是实现在消费级设备上的实时部署。
研究团队开发了一套基于llama.cpp（一个专为边缘设备优化的C++推理框架）的专用推理框架，命名为llama.cpp-omni。测试结果相当惊人。在INT4量化（一种大幅减少内存占用的数值压缩技术）的条件下，该框架在一块消费级NVIDIA RTX 4090显卡上的实时因子（RTF，衡量推理速度与实际时间之比，低于1意味着能实时运行）仅为0.21——也就是说，处理1秒钟的内容只需要约0.21秒，轻松实现实时交互，且内存占用仅11GB。相比之下，直接用PyTorch运行的INT4版本RTF高达1.26，根本无法实时；BF16精度的PyTorch版本则直接内存溢出，跑不起来。
与主要竞争对手Qwen3-Omni-30B-A3B相比，在使用vLLM这个常见推理框架的条件下，MiniCPM-o 4.5在INT4下的吞吐量（每秒处理词元数）达到212.3，而Qwen3-Omni-30B-A3B仅有147.8；首个词元延迟（从发出请求到收到第一个回复词元的时间）为0.58秒，优于Qwen3-Omni-30B-A3B的0.98秒；内存占用仅11GB，几乎是Qwen3-Omni-30B-A3B的一半。
研究团队还特别指出，llama.cpp-omni支持macOS、Windows和Linux三个主流操作系统，意味着它有潜力在个人电脑、高性能平板甚至智能手机上运行。按照论文的描述，运行整个系统（含实时视觉、语音和文字处理）需要的内存少于12GB，这已经是许多现代笔记本电脑的常见内存配置范围。
**九、研究的局限与未来方向**
研究团队对MiniCPM-o 4.5的不足相当坦诚。
全双工流式模式下，模型在长时间动态真实场景中的基础能力和鲁棒性仍需进一步验证——毕竟实验室里的测试场景，和真实世界里嘈杂、多变、充满意外的交互环境，还有相当的距离。语音生成偶尔会出现发音错误或中英文混杂的问题，这在需要严格区分两种语言的场景下可能造成困扰。网络不稳定时，在线演示可能出现延迟或片段缺失的情况，本地部署体验会更流畅。此外，目前模型的"主动行为"能力仍然较为基础，复杂的、需要长期上下文规划的主动助理行为，还留待未来的研究去攻克。
---
说到底，MiniCPM-o 4.5代表了一种对AI交互范式的根本性重新设计。过去我们习惯了和AI的对话是"你一句我一句"的轮流制，这不是因为这种方式最好，而是因为技术上最容易实现。Omni-Flow框架的出现，给出了一种在工程上可行、在效果上可验证的替代路径：让AI真正进入"持续感知、随时响应"的工作状态，而不是在固定的"感知窗口"和"输出窗口"之间来回切换。
当然，从研究论文到真实世界的普遍应用，中间还有很多工程化和可靠性的挑战需要解决。但仅就这项研究本身而言，它在9B参数规模内同时实现了有竞争力的视觉语言理解、领先的语音生成质量和全球首个开源全双工全模态交互能力，并且能在消费级硬件上实时运行——这是多个维度的同时突破，而非单一指标的孤立优化。
对于普通用户来说，这项研究最值得期待的，也许是它暗示的未来：一个AI助手能在你工作、做饭、锻炼的过程中，始终"在场"——不是等你开口才反应，而是真正像一个同在现场的伙伴一样，既听你说话，又观察你所处的环境，随时准备在恰当的时机说出恰当的话。有兴趣深入了解技术细节的读者，可以通过arXiv编号2604.27393检索完整论文。
---
**Q&A**
Q1：MiniCPM-o 4.5的"全双工"和普通AI语音助手有什么区别？
A：普通AI语音助手必须等你说完话才开始回答，回答期间无法接收新的输入，就像对讲机一样。MiniCPM-o 4.5的全双工能力则允许它在说话的同时持续接收新的视频和音频输入，并根据最新情况调整输出内容，更接近人类的真实对话方式。
Q2：Omni-Flow框架是怎么实现同时感知和说话的？
A：Omni-Flow把连续交互切成每1秒一个的"时间块"，在每个时间块内，模型同时接收新输入信息并生成输出内容。通过足够小的时间间隔，感知和输出在外部看起来就像同时进行。它还用一个专门的控制信号来决定"当前时刻是否应该开口说话"，再单独决定说什么，两个决策分开处理，大幅提升了稳定性。
Q3：MiniCPM-o 4.5能在普通电脑上运行吗？
A：研究团队开发了专用的llama.cpp-omni推理框架，在INT4量化下，运行MiniCPM-o 4.5的内存需求低于12GB，且可以在消费级GPU（如RTX 4090）上实时运行，实时因子仅0.21。系统支持Windows、macOS和Linux三个主流操作系统，具备在个人电脑上部署的实际可行性。
专业配资开户提示：文章来自网络，不代表本站观点。
