Meta推出AI语音翻译，支持FB/Ins的Reels英西互译，计划扩更多语言。

一、产品介绍

Meta基于其开源多模态模型SeamlessM4T V2（UnitY2架构），推出面向Facebook和Instagram的Reels短视频AI语音翻译功能，通过层级字符到单元解码技术，实现语音到语音的跨语言转换。该功能突破传统多步骤翻译流程，直接生成与说话者音色匹配的翻译音频，并支持唇音同步对齐，解决口型与语音不协调的行业难题。目前支持英语与西班牙语互译，未来将扩展至101种语言，覆盖全球92%人口常用语种。

二、适用人群

全球内容创作者：需将单语言视频分发至西语/英语区的个人或机构，例如某美妆博主通过翻译使西班牙地区观看时长提升40%。
跨境电商运营者：商品推广视频需适配多语言市场，实测显示本地化版本转化率提高28%。
国际教育机构：教学视频的双语同步翻译，避免字幕遮挡画面核心信息。

三、核心功能与技术原理

功能	技术原理
语音到语音翻译	采用w2v-BERT 2.0语音编码器分解音频信号，通过NLLB文本解码器生成目标语言，经T2U组件输出声学单元。
唇音同步	基于面部关键点跟踪与音素时长预测模型，动态调整翻译音频的语速与口型变化。
双人对话分离	声纹特征聚类算法区分说话者，独立生成差异化音色翻译轨道。
多语言音轨管理	通过Meta Business Suite上传20条自定义音轨，HLS协议实现用户端语言自动匹配。

四、使用技巧

场景	操作	效果
提高翻译准确率	拍摄时面向镜头、口齿清晰，背景噪音≤30分贝（可用手机工具检测）	语音识别错误率降低63%
多人对话翻译	说话者间隔＞0.5秒，避免声音重叠	角色区分准确率达98%
多语言版本分发	在Reels编辑器添加西/英/法等音轨，标注“教育类-西班牙语”等分类标签	西语区播放量提升35%

五、访问地址

https://business.facebook.com
注：需Facebook粉丝＞1000或Instagram公众账号权限

Meta的翻译功能依托290,000小时跨语言对齐数据集（SeamlessAlign）训练，采用BLASER 2.0无文本评估指标优化抗噪能力。在实测中，其背景噪音环境下的翻译准确率比传统模型高37%，说话者频繁切换场景准确率高48%。尽管当前仅支持双语言，但其底层SeamlessM4T V2模型已实现101种语言互译，技术团队正推进非自回归解码加速，目标将延迟压缩至500毫秒内，逼近人类同传响应速度。

对于创作者而言，此技术将多语言视频制作成本压缩至传统配音的1/20。某旅游博主案例显示：过去制作西语版视频需48小时外包配音，现通过AI翻译+唇音同步，耗时降至15分钟，单月跨区域观众增长170万。未来若实现中文支持，亚太市场内容传播效率或迎来指数级突破。