武大与蚂蚁集团联合发布SkySense++：新一代遥感大模型性能全面超越同类

🌍 一、 产品介绍

由武汉大学张永军教授、李彦胜教授团队与蚂蚁集团联合研发的SkySense++，是当前参数规模最大（20亿参数）、任务覆盖最全的多模态遥感基础大模型。该模型基于11颗卫星的2700万组多模态影像数据训练，突破传统遥感模型在多模态融合、语义理解与泛化能力上的瓶颈，为地球观测提供通用智能解决方案。研究成果已发表于顶级期刊《自然·机器智能》（IF=23.9）。

合作背景：

• 武大-蚂蚁智能遥感联合实验室成立于2023年，依托武大全球顶尖的遥感科研实力与蚂蚁的云计算基础设施。
• 前代模型SkySense曾于2024年世界人工智能大会发布，应用于森林保护、农业监测等场景。

👥 二、 适用人群

⚙️ 三、 核心功能与技术实现

1. 多粒度对比学习

• 技术原理：通过像素级-目标级-图像级三层次对比学习，建立跨粒度表征关联，适配不同空间分辨率的任务需求。
• 实际效果：解决多模态数据（可见光、红外、SAR雷达）融合难题，提升跨模态特征提取能力。

2. 掩码语义重建

• 技术原理：对大规模标注数据的语义标签进行掩码与重建，强化模型对像素与区域级语义上下文的理解。
• 实际效果：显著提升模型在少样本场景下的语义分割精度，交并比（IoU）平均提升14.08%。

3. 少样本提示推理

• 技术原理：仅需提供少量标注样本作为提示，无需微调即可泛化至新任务，降低90%以上的标注成本。
• 实际效果：支持灾害应急等时效敏感场景的快速部署，如野火蔓延预测、洪涝淹没分析。

4. 多模态时序建模

• 技术原理：融合文本、光谱、雷达等多源数据，结合时间序列分析，构建动态地球观测图谱。
• 实际效果：实现农作物全生长周期监测（播种→成熟→收割），精度达95%。

5. 开放任务泛化

• 技术原理：通过两阶段渐进训练（表征增强→语义增强），赋予模型跨任务通用解译能力。
• 实际效果：在农业估产、国土监察、森林碳汇等12类任务中，平均精度领先同类模型4.79%。

🛠️ 四、 工具使用技巧

1. 数据预处理建议：

   • 输入影像需包含地理坐标元数据，模型自动对齐多源卫星数据时空基准。
   • 少样本任务中，标注样本应覆盖典型地物边界区域以提升语义重建效果。

2. 部署优化方案：

   • 高频任务（如灾害监测）建议启用实时流计算引擎，结合蚂蚁MEarth平台缩短响应延迟。
   • 低频任务（如年度农业评估）可采用提示学习+批量推理模式，降低成本。

3. 效果增强策略：

   • 融合高程数据（如DEM）与光谱特征，可提升山区地物分类精度。
   • 对关键目标（如农作物病害区）启用像素级注意力可视化，辅助结果校验。

🌐 五、 访问地址

• 学术合作：定向开源中，研究机构可通过邮件申请。
• 企业应用：蚂蚁集团MEarth平台提供商业接入（https://mearth.antgroup.com）。
• 论文与代码：
  • 论文链接：https://www.nature.com/articles/s42256-025-01078-8
  • 前代模型SkySense代码：https://arxiv.org/abs/2312.10115

💡 场景贴士：在农田监察任务中，结合多时相SAR影像与SkySense++的时序建模能力，可穿透云层监测阴雨地区的作物生长状态，解决传统光学遥感的监测盲区问题。