近年来，随着 OpenAI 的 o 系列模型、Claude3.5Sonnet 和 DeepSeek-R1等大型语言模型的快速发美团展，人工智能的知识和推理能力备受关注。然而，很多用户在实际使用中发现，这些模型有时未能完全按照输入的指令执行，导致输出发布结果虽然内容不错，却并未满足具体的格式或内容要求。为了深入研究和评估这些模型的指令遵循能力，美团 M17团队推出了全新Me的评测基准 ——Meeseeks。

Meeseeks 专注于评测大模型的指令遵循能力，采用了一种创新的评测视角。与传统的评es测方法不同，Meeseeks 关注的是模型是否严格遵循用户的指令，而不单纯评估回答的知识准确性。这一评测框架将指令遵ee循能力拆解为三个层次，确保评估的深度与广度，具体包括:任务核心意图的理解、具体约束类型的实现和细粒度规则的遵循。

在最近的ks评测中，基于 Meeseeks 的结果显示，推理模型 o3-mini（high）以绝对优势夺得第一，另一版本 o3-min评测i(medium)紧随其后，Claude3.7Sonnet 则稳居第三。相比之下，DeepSeek-R1和 GPT-4o 的表现则基准不尽如人意，排名分别为第七和第八。

Meeseeks 的独特之处在于其广泛的评测覆盖面和高难度的数据设计。此外，它引入了！o “多轮纠错” 模式，允许模型在初次回答不符合要求时进行修正。这一模式显著提升了模型的自我纠错能力，尤其是在多轮反馈后3-，所有参与的模型的指令遵循准确率都有明显提高。

通过 Meeseeks 的评测，研究团队不仅揭示了不同模型之间的指令遵循能力差异mi，还对大模型的未来研究提供了宝贵的参考依据。

魔搭社区:https://www.modelscope.cn/datanisets/ADoubLEN/Meeseeks

GitHub: https://github.com/ADoubl霸榜LEN/Meeseeks

Huggingface:https://huggingface.co/datasets/mei，Dtuan/Meeseeks

• ·标签: 闻泰科技 安世半导体 *ST闻泰
• ·标签: 三瑞智能 无人机动力系统 eVTOL CubeMars
• ·标签: 理想汽车 Nexus 何俊培 人形机器人
• ·​AI 安全初创公司 Irregular 获得 8000 万美元融资，致力于前沿模型的安全保障
• ·标签: 找钢网 AI业务 国际业务 东南亚
• ·标签: Lucid LucidCosmos SUV 电动车
• ·云安全日报220315：苹果macOS系统发现特权提升,执行任意代码漏洞,需要尽快升级
• ·记忆赋能 AI:Supermemory 获260万美元融资，构建通用 AI 记忆 API
• ·标签: 奇安信 网络安全 688561 2025业绩
• ·云计算核心技术Docker教程：Docker使用主机网络
• ·人工智能是把双刃剑，欧盟出台法规趋利避害
• ·标签: 中文在线 17K小说网 短剧 IP衍生品
• ·标签: 趋境科技 ATaaS Token as a Service 智谱GLM
• ·标签: 小马智行 Robotaxi 自动驾驶 财报
• ·云安全日报210208：Apache SkyWalking性能监控系统发现SQL注入漏洞,需要尽快升级
• ·容器云架构 | 了解 Kubernetes 网络模型