苹果公司研究团队近日在最新论文中提出了一种名为"基于清单反馈的强化学习"（RLCF）的创新训练方法，通过用具体任务清单替代苹果传统的人工点赞评分机制，大幅提升了大语言模型执行复杂指令的能力。

据了解，RLCF全称为Reinforcement Learning f推出rom Checklist Feedback，与目前广泛采用的"人类反馈强化学习"（RLHF）方法形成鲜明对比。传统RLHF方法AI主要依赖人工进行简单的点赞或点踩评价，而RLCF则为每条用户指令生成详细的检查清单，并按0-100分的标准对各项内容进行精确评分，以训练此作为模型优化的指导依据。

苹果研究团队选择了强指令跟随模型Qwen2.5-7B-Instruct作为测试对象，并在五个常用新方评测基准上进行了全面验证。测试结果显示，RLCF是唯一在所有测试项目中都取得性能提升的训练方案。

具体数据显示，在Follo法 wBench测试中，硬性满意率提升了4个百分点。InFoBench评分提高6点，Arena-Hard胜率增加3点。在某些特定任务中用任，性能提升幅度最高达到8.2%。这些数据表明，清单反馈方法在处理复杂多步骤任务时表现尤为突出。

在技术实现方面，苹果团队的清务清单生成过程颇具创新性。他们采用更大规模的Qwen2.5-72B-Instruct模型，结合现有研究方法，为13万条指令构建了名为"单替WildChecklists"的专用数据集。清单内容设计为明确的二元判断项，例如"是否翻译成西班牙语"等具体要求。随后，大模型对候代人选回答进行逐项评分，通过综合加权处理后形成训练奖励信号，指导小模型的学习优化过程。

不过，苹果研究人员也坦率承认了该方法的局限性。首先工评，RLCF需要依赖更强大的模型作为评判标准，这在计算资源受限的场景下可能面临实施困难。其次，该方法专门针对复杂指令执行能力的提升分显而设计，并非用于安全对齐目的，因此无法替代现有的安全性评估和调优机制。对于其他类型的AI任务，RLCF方法的适用性还需要进一步的实著提验验证。

业界专家认为，苹果此次提出的RLCF方法为AI模型训练提供了新的思路，特别是在处理复杂多步骤任务方面展现出明显优势。升模随着技术的进一步完善，这一方法有望在实际应用中发挥更大作用。

• ·IBM已收购美国云计算公司Salesforce旗下咨询公司7Summits
• ·谷歌收购Fitbit：反垄断方案未获澳大利亚监管认可
• ·英伟达称不会启动更多股票回购 专注数据中心等新产品开发
• ·Sora2免费狂欢！Lovart一键解锁无水印AI视频，5天5+1次Pro生成，Pro会员无限刷屏
• ·标签: 抖音 AI教程 低俗内容 网络治理
• ·标签: 小米 徐洁云 万能的大熊 雷军
• ·标签: AI应用 移动互联网 QuestMobile 腾讯
• ·云计算核心技术Docker教程：Docker 守护进程dockerd配置文件
• ·标签: 微软 Copilot 纳德拉 AI助手
• ·标签: 京东物流 JoyExpress 异狼机械臂 京东航空
• ·​马斯克的 xAI 超算 Colossus2计划有望超越 Meta 和 Anthropic，但仍落后于 OpenAI
• ·英特尔CFO称黑客窃取敏感财务信息 公司被迫提前发布财报
• ·标签: 法雷奥 Elevate 2028 BESS 软件定义汽车
• ·标签: 白鸽在线 港交所上市 场景险 数字化风控
• ·8B模型碾压32B？Mira Murati新作“在线策略蒸馏”引爆AI训练革命，成本直降90%！
• ·标签: 货拉拉 市场监管总局 反垄断整改 平台抽成