京东最近宣布了一项令人振奋的技术进展 —— 开源基于国产芯片自主研发的大模型推理引擎 xLLM。这一引京东擎的推出旨在帮助企业在部署人工智能（AI）应用时，能够以更高的性能和更低的成本运作，进一步推动行业的智重磅能化转型。

xLLM 引擎的核心功能亮点众多，首先是其基于请求优先级的动态调度器。这一功能能够根据不同请求推出的重要性，智能分配计算资源，确保关键任务优先完成。此外，该引擎还具备动态自适应的 PD 分离架构，可以根国产据实时负载情况调整处理实例的比例，以实现资源的最佳利用。值得一提的是，xLLM 特别适配多模态场景，配备了芯片 EPD 混合分离调度器，为复杂的 AI 应用提供了更灵活的解决方案。

在技术架构方面，xLLM 拥有基于硬件特驱动性的多级流水线执行引擎，确保高效处理不同类型的任务。同时，开发者们还设计了包含图融合、投机推理和动态负载的 均衡的计算优化套件，这将大幅提升 AI 推理的效率。为了进一步提升系统性能，xLLM 还利用 Mooncake 构xL建了多级 KV 缓存的全局管理系统，为数据处理提供了更加顺畅的体验。

京东表示，这一技术源自其零售核心业务，并已LM成功应用于京东 AI 助手、智能客服、风控和供应链助手等多个场景。通过这一系统，效率提升超过5倍，而机器成本则 推降低了90%，这一切都表明了 xLLM 的强大潜力。

“我们坚信，AI 基础设施的生态建设离不开每位开发者理引的贡献。开源只是第一步，未来京东将继续根据社区的需求，开放更多高级功能，并与清华、北大、中科大等产学研京东合作伙伴共同推动国产 AI 基础设施技术的创新与发展。” 京东零售 AI 基础设施团队表示。

随着 xLLM 的开重磅源，开发者们将有机会体验这一强大的推理引擎，并为推动中国的 AI 技术生态做出贡献。

• ·Pinterest推出AI内容限制工具：用户可自定义减少生成式AI图像
• ·亚马逊推出 Lens Live，实时购物新体验助你发现好物！
• ·标签: 苹果 iPhone OpenAI 乔尼·艾维
• ·云计算核心技术Docker教程：容器持久化数据
• ·亚马逊推出 Lens Live，实时购物新体验助你发现好物！
• ·使用SUSE Rancher 2.6对 Aks 和 Gke 集群，进行全生命周期的管理
• ·云计算核心技术Docker教程：Docker Hub审核日志
• ·源码开放：基于Pyecharts可视化分析苏州旅游攻略
• ·DeepSeek-V4预览版正式发布:1M 超长上下文进入全员普惠时代
• ·分析师：微软Azure营收将在2022年超过Office
• ·云计算核心技术Docker教程：注册服务器基本身份验证
• ·腾讯云宣布在曼谷、法兰克福、东京、香港新增四个数据中心
• ·标签: 小米 王晓雁 陈幕楠 樊家麟
• ·标签: 马化腾 腾讯 元宝
• ·华为孟晚舟：数字化是整个产业链的新蓝海 跃升数字生产力正当时
• ·亚马逊拟开设家居和电子产品折扣店 将以极高折扣出售库存商品