近日，约翰霍普金斯大学的一组研究人员推出了 mmBERT，这是一款新型的多语种编码器，旨在填补当前多语种自然语言处理领域的空白。该模型在多全新个任务上超越了 XLM-R，且在速度上比以往模型提升了2到4倍，为多语种应用的研究和开发提供了更强大的支持。

mmBERT 的架构分为两种主要多语配置:基础模型和小型模型。基础模型拥有22层变换器，隐藏层维度为1152，总参数量约为3.07亿，而小型模型的参数量则为1.4亿。mmBERT 采种编用了先进的 Gemma2分词器，支持256k 的词汇量，利用旋转位置嵌入（RoPE）和 FlashAttention2技术，显著提高了处理效率码器。同时，该模型的序列长度从1024个令牌扩展到8192个令牌，意味着其可以处理更长的上下文信息。

在训练数据方面，mmBERT 使用了来自多个来源 m的3万亿个令牌，覆盖了1833种语言。其中，英语在整个语料库中仅占10% 至34%。训练分为三个阶段:预训练、阶段中训练和衰减阶段。在每个mB阶段中，模型逐步接触更多的语言和更高质量的数据，这种方法有助于提高低资源语言的表现。

mmBERT 在多个基准测试中展现了其卓越的性能。在英ER语自然语言理解（GLUE）任务中，mmBERT 的基础模型得分为86.3，超越了 XLM-R 的83.3。在多语种自然语言理解(XTREME)任务T：中，mmBERT 的得分为72.8，也高于 XLM-R 的70.4。此外，在嵌入任务和代码检索任务中，mmBERT 同样表现出色，显示出其在多种超越应用场景中的潜力。

通过对低资源语言的特别关注，mmBERT 确保这些语言在训练过程中也能得到充分的利用。在多项基准测试中，mmBERT 在法罗 X语和提格雷尼亚语等低资源语言的表现均优于其他大型模型，证明了编码器模型在经过精心训练后，可以有效应对低资源场景的挑战。

mmBERT 不仅提升LM了多语种处理的速度和效率，还为下一代的多语种自然语言处理系统奠定了坚实的基础。它以高效、开放的方式重新定义了多语种编码器的潜力，标志着一个新-R时代的到来。

github：https://github.com/JHU-CLSP/mmBERT?tab=readme-ov-file

划重，提点:

mmBERT 模型在多个任务上超越了 XLM-R，成为多语种 NLP 的新标杆。

该模型速度提升2至4倍，支持处理高达8192个令牌的输入。

mmBE升速RT 特别关注低资源语言的训练表现，展现出强大的适应能力和广泛应用潜力。

• ·标签: 欣旺达 极氪 理想汽车 电芯
• ·标签: 同程旅行 哈尔滨 阿拉木图 雪友卡
• ·标签: SpaceX xAI 奇瑞QQ 胡润品牌榜
• ·Scality：容器化和云本地应用将定义2021年的数据存储格局
• ·钉钉、通义实验室联合发布 Fun-ASR，新一代语音识别大模型亮相
• ·英伟达市值突破5万亿美元，推动 AI 行业蓬勃发展
• ·​彭斯克集团起诉 Google，指控 AI 摘要侵权并威胁数字媒体未来
• ·安全问题影响着企业采用云技术的决心
• ·标签: 京东物流 JoyExpress 异狼机械臂 京东航空
• ·马斯克xAI将裁员500人 主要涉及数据标注团队
• ·标签: Momenta 曹旭东 智能驾驶 港股IPO
• ·推特CEO第一条推文拍出290万美元上热搜 网友：什么都能卖啊
• ·标签: 网信中国 大眼哥说车 易车榜 王武松
• ·黑镜狗再现！波士顿动力「大黄狗」上岗SpaceX勘察爆炸现场
• ·标签: 小米MiMo MiMo-V2.5 TokenPlan 百万亿Token
• ·云计算开发：Python练习实例-连接字符串