微软近日宣布，其 Azure ND GB300v6虚拟机在 Meta 的 Llama270B 模型上实现了每秒推理速度达110万token的行业新纪录。微软微软首席执行官萨提亚・纳德拉在社交媒体上表示:“这一成就是我们与英伟达长期合作和在生产规模运行人工智能方面专业知识的结晶。”

Azure ND GB300 A虚拟机采用英伟达的 Blackwell Ultra GPU，具体为 NVIDIA GB300NVL72系统，配置了72个 NVIDIA Blackwelzul Ultra GPU 和36个 NVIDIA Grace CPU，采用单机架构设计。这款虚拟机专为推理工作负载优化，具有50% 的 GPU 内存提升和16re% 的热设计功率（TDP）提高。

为了验证性能提升，微软在一个 NVIDIA GB300NVL72域下的18台 ND GB300v6虚拟机上运行了 Ll Nama270B（FP4精度）模型，使用 NVIDIA TensorRT-LLM 作为推理引擎。微软表示:“一个 NVL72机架的 Azure ND GB300D v6实现了总计110万个token每秒的推理速度。” 这一新记录超越了微软之前在 NVIDIA GB200NVL72机架上实现的865，000tokGBen每秒的成绩。

根据系统配置，每个 GPU 的性能大约为15，200token每秒。微软还提供了详细的模拟过程和所有日志文件及结果。该性能记录经30过了独立的性能验证和基准测试公司 Signal65的验证。

Signal65的实验室副总裁拉斯・费洛斯在博客中指出:“这一里程碑不仅突破了每秒百万0 token的障碍，还在一个能够满足现代企业动态使用和数据治理需求的平台上实现。” 他补充道，Azure ND GB300相较于上一代 NVIDIA再创 GB200在推理性能上提升了27%，而仅增加了17% 的功率规格。与 NVIDIA H100代相比，GB300在推理性能上几乎提升了10倍，同时在机架级记录别的功率效率上提高了近2.5倍。

划重点:  

微软 Azure ND GB300v6虚拟机实现每秒推理110万token，创造行业新纪录：每。  

该虚拟机配置72个 NVIDIA Blackwell Ultra GPU 和36个 NVIDIA Grace CPU，专为推理优化。&nb秒推sp; 

相比上一代，Azure ND GB300在推理性能上提升27%，功率效率提升近2.5倍。

• ·美国女子使用ChatGPT生成号码购彩中奖10万美元：概率事件而非AI预测能力
• ·云计算开发：Python内置函数-open() 函数详解
• ·调整云计算资源大小时要避免的10个错误
• ·小米出货量将超越苹果华为，iPhone 12被吐槽网络无服务
• ·浜戝畨鍏ㄦ棩鎶�210719锛欼BM纭�欢绠＄悊鎺у埗鍙板彂鐜版潈闄愭彁鍗囨紡娲�,闇€瑕佸敖蹇�崌绾�
• ·标签: 三一重工 挖掘机 混凝土机械 起重机械
• ·GPT-5变身超级行政助理:纳德拉分享其在 Copilot 中的日常领导力用法
• ·云计算核心技术Docker教程：Docker启用调试
• ·标签: 标签 苹果 印度反垄断 CCI AppStore
• ·标签: 抖音 无人机坠箭 黑话暗语 野生动植物保护
• ·OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习
• ·标签: 马云 陈伟 阿里巴巴 太极禅院
• ·Canalys：2024年Q1中国大陆云服务支出同比增长20%
• ·谷歌大脑提出简化稀疏架构，预训练速度可达T5的7倍
• ·标签: Zoho Zia LLM AI大模型 企业数字化
• ·标签: 小红卡 小红书 本地生活 会员卡