Qwen2.5-Omni – 性能超越Gemini，全球首个开源端到端多模态大模型，手机可部署

162 0 6

阿里巴巴于 2025 年3月27日凌晨正式发布并开源了全球首个端到端全模态大模型Qwen2.5-Omni-7B，这一突破性模型支持文本、图像、音频、视频四模态输入，并能实时生成文本与自然语音输出，真正实现了 “看、听、说、写” 全能的多模态交互能力。感兴趣的读者可通过Qwen Chat 每日免费试用 10 次。以下是其核心技术突破、性能表现及应用场景的详细解析：

Qwen2.5-Omni的技术架构：双核协同与时空对齐

Qwen2.5-Omni 的核心创新在于Thinker-Talker 双核架构，这一设计模拟了人类 “思考” 与 “表达” 的协同过程：

Thinker 模块（大脑）：基于 Transformer 解码器，融合音频 / 图像编码器处理多模态输入，生成高层语义表征和文本内容。例如，输入一段视频时，Thinker 会同步分析画面中的物体、文字及语音信息，形成连贯的语义理解。
Talker 模块（发声器）：采用双轨自回归 Transformer 解码器，实时接收 Thinker 的语义表征并合成语音。其独特之处在于共享全部历史上下文，确保语音生成与语义理解的无缝衔接，例如在视频对话中实现精准的唇音同步。
TMRoPE 时空对齐技术：首创时间轴位置编码算法，解决音视频输入的时序同步难题。实验显示，该技术使模型在视频理解任务（如事件时序识别）中的准确率提升 37%。

Qwen2.5-Omni的项目地址和传送门：

体验 Qwen Chat 新功能: https://chat.qwenlm.ai
技术报告 (Paper): https://github.com/QwenLM/Qwen2.5-Omni/blob/main/assets/Qwen2.5_Omni.pdf
官方博客: https://qwenlm.github.io/blog/qwen2.5-omni
GitHub 代码仓库: https://github.com/QwenLM/Qwen2.5-Omni
Hugging Face 模型: https://huggingface.co/Qwen/Qwen2.5-Omni-7B

Qwen2.5-Omni的性能表现：全模态 SOTA 与轻量化突破

尽管参数仅 70 亿，但 Qwen2.5-Omni 的表现堪称惊艳。在权威多模态评测集 OmniBench 中，其以 89.3 分超越谷歌 Gemini-1.5-Pro 的 82.7 分。单模态任务同样亮眼：语音识别准确率达 98.1%，接近专业模型；语音合成自然度评分 4.51 分（满分 5 分），延迟低至 200 毫秒；图像推理能力甚至超过部分单模态数学模型。

更重要的是，7B 参数让模型在手机、笔记本等终端设备上流畅运行成为可能。实测数据显示，CPU 环境下推理速度可达 25 tokens/s，具体如下：

多模态任务刷新纪录
在权威评测集OmniBench中，Qwen2.5-Omni 以89.3 分超越 Google Gemini-1.5-Pro（82.7 分），在跨模态推理、音视频情感识别等任务中表现突出。例如：

视频问答：输入一段包含多个场景切换的短视频，模型能准确回答 “视频中出现的第三个动物是什么？” 等复杂问题。
语音指令跟随：用户通过语音说 “打开卧室灯并播放轻音乐”，模型可同步解析语音指令与智能家居设备的图像界面，直接控制设备。

单模态能力全面领先

语音识别：在 Common Voice 数据集上准确率达98.1%，超越专业语音识别模型 Whisper-Tiny（96.5%）。
图像推理：在 MMMU（多模态数学推理）任务中，模型能解析手写数学题图像并给出正确解答，准确率达82.4%，接近单模态数学模型水平。
语音合成：主观自然度评分4.51 分（满分 5 分），接近人类发音水平，且支持流式输出，延迟低至200 毫秒。

轻量化部署革命
仅 70 亿参数的 Qwen2.5-Omni 可在手机、笔记本电脑等终端设备流畅运行，推理速度达25 tokens/s（CPU 环境）。相比之下，同类闭源模型（如 Gemini-1.5-Pro）需千亿级参数，且依赖 GPU 加速。

Qwen2.5-Omni的应用场景：从普惠到产业级突破

无障碍交互

视障辅助：通过手机摄像头扫描环境，模型实时语音播报 “前方 3 米有台阶”“右侧便利店营业时间至 22:00” 等信息，替代传统助盲设备。
听障辅助：视频通话时，模型将对方语音实时转为文字并高亮关键信息，同时支持手语视频输入与语音输出双向转换。

智能终端与机器人

跨设备操控：用户对手机说 “帮我在电脑上打开 PPT”，模型解析语音指令后，直接控制电脑屏幕内容并执行操作。
具身智能：为服务机器人配备 Qwen2.5-Omni，使其能通过摄像头识别环境、语音交互，并自主规划路径完成任务（如送餐、导航）。

内容创作与教育

视频字幕生成：自动为视频添加多语言字幕，并同步解析背景音乐情感，生成符合语境的描述性文本。
智能教育：学生上传解题过程的手写图片，模型通过语音逐步骤讲解思路，同时识别书写错误并纠正。

Qwen2.5-Omni开源生态与行业影响

Qwen2.5-Omni 已在Hugging Face、ModelScope、GitHub等平台开源，采用Apache 2.0 协议，允许免费商用。其轻量化设计推动全模态 AI 从云端走向终端，目前衍生模型数量已突破10 万，覆盖智能客服、虚拟人、物联网等领域。
与传统多模态模型（如 GPT-4V、Gemini）相比，Qwen2.5-Omni 的端到端架构和7B 参数规模打破了 “千亿参数才能多模态” 的行业惯性，为中小企业和开发者提供了低成本创新工具。例如，某初创公司基于该模型开发了 “AI 导购助手”，用户通过语音描述需求并上传图片，模型即可推荐匹配的商品链接并生成穿搭建议。

未来展望

阿里通义团队计划进一步提升模型的多模态长时记忆能力（如处理 1 小时以上的视频）和跨模态逻辑推理（如解析图表数据并生成分析报告）。同时，通过社区协作推动模型在医疗、法律等垂直领域的定制化应用，例如开发 “医疗影像 – 语音诊断” 一体化系统。
如需体验 Qwen2.5-Omni 的实时交互功能，可访问Qwen Chat，每日提供 10 次免费试用。开发者可在GitHub获取模型代码及技术文档，基于此构建多模态应用。

# AI快讯