国产多模态大模型dots.vlm1开源！视觉理解能力比肩顶尖闭源模型

一、产品介绍

dots.vlm1由国内头部社区平台旗下人文智能实验室（hi lab） 研发，基于DeepSeek V3大语言模型与自研12亿参数NaViT视觉编码器构建。作为首个瞄准多模态理解的开源模型，其突破性在于将视觉感知与文本推理深度融合，在MMMU、MathVision等权威测试中接近闭源SOTA水平。

🔍 划重点：模型完全从零训练视觉编码器，原生支持千万级像素解析，避免依赖微调现有模块的“捷径”。

二、适用人群

三、核心功能与技术解析

通过三阶段训练框架（视觉预训练→多模态联合训练→监督微调），dots.vlm1实现五大核心能力：

💡 技术亮点：

• 动态分辨率支持：NaViT编码器分阶段训练百万→千万级像素，提升细节感知
• 双重监督策略：同时使用下一Token预测（NTP）与下一Patch生成（NPG），增强空间语义理解

四、工具使用技巧

1. 精准提问公式：
   “分析[图片]中的[元素]，并[具体要求]”
   例：“分析景区价目表图片中的团体票规则，并计算25人团队总费用”
   实测效果：模型结合文字提示与视觉信息输出购票方案

2. 避免OCR误差：
   上传文档时同步提供文字版补充，或使用专用OCR模型dots.ocr预处理

3. 激发深度推理：
   在复杂问题中加入分步思考指令，如：
   “请先描述图表横纵坐标关系，再计算某数据趋势”

五、访问地址

✅ 开源代码与模型权重：
https://github.com/rednote-hilab/dots.vlm1

🚀 在线免费体验：
https://huggingface.co/spaces/rednote-hilab/dots-vlm1-demo

✨ 社区反馈：
开发者实测模型在红绿色盲测试图识别中全部答对，并在数独求解中展现“顿悟式推理”（类似DeepSeek的"Aha Moment"）。

结语

dots.vlm1将视觉语言模型的开源性能推至新高度，其结构化数据处理与人文场景适配性尤为突出。随着强化学习与架构优化的持续推进，国产多模态技术正加速迈向实用化时代。

📌 趋势预告：实验室透露下一步将探索视频帧推理与具身智能应用，推动模型从“看懂世界”到“行动决策”的跨越。