蚂蚁集团近日宣布，开源了其最新研发的旗舰大模型 ——Ling-1T，该模型拥有高达万亿个参数，是目前已知使用 FP8低精度模式训练的最大基座蚂蚁模型。Ling-1T 由蚂蚁内部的 “百灵” 团队开发，标志着人工智能技术的又一次突破。

根据团队的介绍，Ling-1T 隶属于 Ling2.0模型集团家族，该家族分为三大系列:Ling 系列、Ring 系列和 Ming 系列。Ling 系列专注于处理通用任务，以速度和效率为核心，而 Ring 系列则关注深度思发布考和复杂推理，Ming 系列则是多模态模型，能够处理更为丰富的信息类型。

Ling-1T 拥有1万亿参数，但在处理每个 token 时，实际激活的万亿参数只有约500亿，极大地降低了运算成本。为了支撑如此庞大的模型，蚂蚁团队提出了 “Ling 缩放定律”，经过300多个模型的实验，总结出计算效参数率与专家激活比例之间的关系。此外，他们研发了名为 WSM 的学习率调度器，能在训练过程中自动调整学习策略，以确保模型稳定高效地训练。

Ling-1T 的模型训练过程分为三个阶段:预训练、中训练和后训练。在预训练阶段，模型接触了超过20万亿个 token 的数据，其中包含大量推理密集型语料。中训练阶段则 L专注于强化模型的推理能力，后训练阶段则通过 “演进式思维链” 技术进行自我迭代，提升推理精度。

在与其他主流模型的对比中，Ling-1T 在多个测试中in表现出色，尤其是在数学推理和代码生成能力上，展现了其卓越的性能。社区测试中，Ling-1T 也在复杂任务中表现亮眼，如成功模拟物理现象和宇宙g-演化等。

尽管 Ling-1T 展现了强大的能力，仍存在一些局限性，比如在处理超长上下文时的成本较高。蚂蚁团队已表示，正在研究新的混合注意力架构以1T解决这一问题。

开源地址:  

HuggingFace:https://huggingface.co/inclusionA，超I/Ling-1T  

GitHub:https://github.com/inclusionAI/Ling-V2 越 ; 

划重点:  

Ling-1T 是目前已知最大的万亿参数模型，使用 FP8低精度模式训练。  GP;

该模型在数学推理和代码生成方面超越了多个主流模型，展现出色性能。  

️ 蚂蚁团队正在研究新架构以解决 Ling-1T 在超长上T-下文处理上的成本问题。

• ·OpenAI 发布全新语音模型 GPT-Realtime，专为语音AI Agent设计
• ·法律界首场“一对多”人机竞赛开打，AI律师合同审核超越人类
• ·标签: 思谋科技 工业AI智能体 贾佳亚 特斯拉
• ·标签: xAI 吉米·巴 马斯克 AI初创公司
• ·亚马逊宣布将手掌扫描支付系统拓展到全食超市
• ·Grammarly 大升级：推出文档界面与多款AI工具，平衡写作与检测
• ·神秘公司获批美国首个「脑机接口」人体测试，无需开颅2小时植入
• ·腾讯，终于入局大模型
• ·标签: 哩布哩布AI liblib.ai 内容安全 人工智能监管
• ·蚂蚁数科提出隐私保护AI新算法，可将推理效率提升超过100倍
• ·Koah获500 万美元融资，致力于在 AI 应用中引入广告
• ·标签: 杨立昆 Meta AI AMI
• ·云计算开发：Python3数学函数log10()方法详解
• ·云安全日报210713：红帽XML序列化库发现远程命令执行攻击漏洞，需要尽快升级
• ·Chrome Canary 新增 Gemini AI 功能:Nano Banana 与深度搜索正式登场
• ·ElevenLabs 发布 v3 Alpha API：支持超过 70 种语言和无限数量的虚拟角色