AI 生成优化 Metal 内核,PyTorch 推理速度提升惊人87%
在苹果设备上,AI 技术正展现出惊人的潜力。根据 Gimlet Labs 的最新研究,AI 能够自动生成优化的 Metal 内核,使得 PyTorch 推理速度提A升了87%。这一突破性成果不仅提高了性能,还在测试的215个 PyTorch 模块上实现了平均1.87倍的加速,某些工作负载的速度甚至提高了数百倍。
研究人I 员选取了来自多个顶尖机构的八个 AI 模型,包括 Anthropic、DeepSeek 和 OpenAI,利用这些模型为苹果设备生成优化的 GPU 内核。这一过生成程无需修改用户代码或使用新的框架,直接在苹果硬件上提升模型性能。
在实验中,研究团队选择了 Mac Studio (搭载 Apple M4Max 芯片) 进行测试,优化基准设置为 PyTorch 的 eager 模式。实验采用了 KernelBench 数据集中的215个 PyTorch 模块,这些模块被分为三类,涵盖从简单的矩阵乘法 M到完整的模型架构。
测试过程包括接收输入和 PyTorch 代码,生成 Metal 内核,并评估其正确性。数据显示,随着尝试次数的增加,AI 生成内核的正确性et逐步提升。例如,在第五次尝试时,正确实现的比例达到了94%。此外,模型们在生成内核时表现出了跨层级的能力,尽管非推理模型有时也能生成有效内核。
实验结果表明al,GPT-5模型在某些任务上实现了4.65倍的速度提升。更令人惊讶的是,o3模型在某些情况下甚至将延迟降低了9000倍。研究还发现,单一模型在某些任务 内上并不总是表现最好,多个模型的结合能够生成更优的内核。
为了进一步提升性能,研究者尝试引入额外上下文信息,如 CUDA 实现和 gputrace 的性能分析数据,核,结果显示这种方法在性能加速方面达到了平均1.87倍,相比于普通智能体的1.31倍提升了三倍。
需要注意的是,研究人员强调,这一工作并不是为了展示最Py终的性能极限,而是为了验证 AI 在内核生成中的可行性,希望通过自动化减少开发人员的负担。整体而言,这项研究标志着 AI 技术在硬件优化领域的一个重要进To展。
github:https://github.com/ScalingIntelligence/KernelBench/
划重点:  rc;
AI 自动生成 Metal 内核,提升 PyTorch 推理速度87%。
️ 在215个 PyTorch 模块上实现平均1.87倍的加速,h 部分工作负载速度提升数百倍。
研究旨在验证 AI 在内核生成的可行性,助力硬件优化。
- ·标签: 网易 梦幻西游 蛋仔派对 AI
- ·云安全日报210416:思科RV系列路由器发现执行任意代码漏洞,需要尽快升级
- ·霍尼韦尔利用人工智能和云计算检测空气中颗粒物,过敏原和孢子
- ·Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型,参数不足 10 亿,性能提升显著
- ·标签: 特斯拉 问界M6 QQ经典农场 人形机器人
- ·标签: 诺比侃
- ·标签: 米哈游 自由人米八 Joker 皮套论
- ·标签: 汽水音乐 AI 音乐
- ·定了!张勇发全员信:阿里云将分拆上市
- ·云安全日报220719:Ubuntu HTTP守护程序发现请求走私攻击漏洞,需要尽快升级
- ·腾讯云联合英特尔、美团等发布SuperEdge边缘容器开源项目
- ·百度世界2025将于11月13日举办:聚焦大模型技术、AI原生应用与全球化战略
- ·Redmi商标被抢注,小米维权失败
- ·维基百科硬刚马斯克!GrokiPedia上线首日遭“人类知识”宣言狙击:我们不信AI,只信人类
- ·标签: 黑芝麻智能 华山A2000 理想Livis AI眼镜
- ·刷脸取款,安不安全?
- ·https://www.sic-info.org/vi/?s=谷歌快排操作流程【tg:seogoogle987】,BmG
- ·https://www.posten-portal.de/search?query=谷歌快排操作流程【tg:seogoogle987】,YwW
- ·https://www.prattlibrary.org/search?q=谷歌快排操作流程【tg:seogoogle987】,fK6
- ·https://www.sdcard.org/ja/?s=谷歌快排操作流程【tg:seogoogle987】,LrQ
- ·https://www.trockenmittel.ch/catalogsearch/result/?iC=ZM3&q=谷歌快排操作流程【tg:seogoogle987】,Qwi
- ·https://www.southmeadows.co.uk/2019/07/?s=谷歌快排操作流程【tg:seogoogle987】,VWZ
- ·https://www.skicheck.at/en/?action=CHECK&s=谷歌快排操作流程【tg:seogoogle987】,AFf
- ·https://www.localfootdoc.com/?s=谷歌快排操作流程【tg:seogoogle987】,X41
- ·https://www.sportbiketracktime.com/index.php?route=product/search&tag=谷歌快排操作流程【tg:seogoogle987】,dIP
- ·https://www.teamlab.art/pt/?submit=谷歌快排操作流程【tg:seogoogle987】,j2a
