小米开源声音理解大模型MiDashengLM-7B，性能领先行业先进模型

🌟 产品介绍

小米集团于2025年8月4日正式开源MiDashengLM-7B声音理解大模型，作为其“人车家全生态”战略的核心技术组件。该模型基于小米自研Xiaomi Dasheng音频编码器与Qwen2.5-Omni-7B Thinker解码器融合架构，通过创新通用音频描述训练策略，实现对语音、环境声、音乐的跨场景统一理解，已在智能家居、汽车座舱等场景落地30+应用，如车外唤醒防御、划车检测增强哨兵模式等。

🎯 适用人群

• AI开发者：需集成音频理解能力的应用开发者
• 智能硬件产品经理：规划家居/车载语音交互产品者
• 学术研究者：多模态大模型与低延迟推理技术探索者
• 物联网工程师：开发环境音控系统的技术团队

⚙️ 核心功能与技术实现

💡 技术突破点：

• 抛弃ASR转录局限：传统方法仅提取语音文本，丢弃环境声/音乐信息。MiDashengLM通过全局语义描述，保留说话人情感、空间混响等关键特征。
• 5Hz超低帧率编码：将音频特征提取频率从竞品25Hz压缩至5Hz，显著降低解码器负载，实现512批量并发（竞品16批量即显存溢出）。

🛠️ 工具使用技巧

1. 快速API集成

   from transformers import AutoProcessor, AutoModel  
   processor = AutoProcessor.from_pretrained("mispeech/midashenglm-7b")  
   model = AutoModel.from_pretrained("mispeech/midashenglm-7b")  
   inputs = processor("audio.wav", return_tensors="pt")  
   outputs = model.generate(**inputs, max_new_tokens=100)  

2. 微调实战建议

   • 数据标注：使用ACAVCaps数据集（ICASSP评审后开放）重标环境声标签
   • 领域适配：在音频编码器输出层添加Adapter模块，避免全参数微调显存瓶颈

3. 终端部署优化

   # 启用8-bit量化压缩  
   model = AutoModel.from_pretrained("mispeech/midashenglm-7b", load_in_8bit=True)  

🔗 访问地址

• GitHub项目：https://github.com/xiaomi-research/dasheng-lm
• Hugging Face模型：https://huggingface.co/mispeech/midashenglm-7b
• 在线Demo：https://huggingface.co/spaces/mispeech/MiDashengLM

✨ 彩蛋功能：尝试对麦克风说“这是什么音乐？”，模型可同步解析旋律特征与创作背景！车内哼歌识别、家居环境音控等场景即将迎来体验革命..