美团 LongCat 团队推出 VitaBench:全新智能体评测基准
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。
VitaBench 专注于外卖点餐、餐厅就餐和旅 L游出行等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在on任务执行过程中进行深度推理、工具调用与用户互动的综合表现。
尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体gC在复杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填at补现有智能体评测基准与真实生活场景应用之间的空白。
该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过 团将这些维度量化,系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点队推数量来评估;工具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。
VitaBench 的构建过出 程为两个阶段,首先是框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智Vi能体能够在没有冗余规则的情况下,自主推理和决策。
目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问ta相关资源。VitaBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展Be。
项目主页:https://vitabench.github.io
论文链接:https://arxiv.org/abs/250nc9.26490
代码仓库:https://github.com/meituan-longcat/vitabench
数据集:httpsh:://huggingface.co/datasets/meituan- longcat/VitaBench
排行榜:https://vi全新tabench.github.io/#Leaderboard
- ·标签: 虎牙 鹅鸭杀 和平精英 英雄联盟
- ·标签: 英伟达 Vera CPU 黄仁勋 GTC2026
- ·IDC最新报告:中国车企拥抱公有云,阿里云稳居第一
- ·标签: 王者荣耀 和平精英 远光84 无限暖暖
- ·标签: 阶跃星辰 腾讯 香港IPO 大语言模型
- ·标签: 微元合成 豫鑫糖醇 张其宾 谭瑞清
- ·标签: 戴尔 AI服务器 2027财年 ISG
- ·标签: 西祠胡同 西祠.com 福州飞扬 西祠大模型
- ·标签: AI
- ·Facebook拒绝一家澳大利亚出版商谈判要求:挑战全球最严网络法
- ·标签: 机器人
- ·标签: e& Hatem Dowidar Masood Mahmood 电信集团
- ·Twitter周一宕机:1.8万用户报告故障
- ·云计算核心技术Docker教程:Docker 守护进程dockerd的DEVICEMAPPER选项
- ·谷歌AI一次注释了10%的已知蛋白质序列,超过人类十年研究成果
- ·标签: 腾讯电竞 亚奥理事会 ECS 三极驱动
- ·https://www.sensorshop24.de/catalogsearch/result/index/?type=132&q=谷歌蜘蛛池租用【tg:seogoogle987】,Wp2
- ·https://www.resopal.de/catalogsearch/result/?action=SEARCH&q=谷歌蜘蛛池租用【tg:seogoogle987】,PsO
- ·https://www.navylookout.com/?ID=nSBR6Ivdu6lZg1yr2SDs30Lo5sTs76yJ&s=谷歌蜘蛛池租用【tg:seogoogle987】,vfM
- ·https://www.valuecolleges.com/?action=QUERY&s=谷歌蜘蛛池租用【tg:seogoogle987】,YYQ
- ·https://www.teamlab.art/it/?submit=谷歌蜘蛛池租用【tg:seogoogle987】,GiO
- ·https://www.losgatoschamber.com/list/search?action=SEARCH&q=谷歌蜘蛛池租用【tg:seogoogle987】,0Gl
- ·https://www.kyuhoshi.com/?s=谷歌蜘蛛池租用【tg:seogoogle987】,Yux
- ·https://www.rhymezone.com/r/rhyme.cgi?typeofrhyme=oldrel&loc=nojs&Word=谷歌蜘蛛池租用【tg:seogoogle987】,kQs
- ·https://www.wou.edu.my/?s=谷歌蜘蛛池租用【tg:seogoogle987】,FF6
- ·https://www.roberthalf.com/us/en/jobs/all/谷歌蜘蛛池租用【tg:seogoogle987】s0m
- ·云计算开发:Python内置函数-reload() 函数详解
- ·白宫向美国各级政府机构下命令:赶紧给微软服务器打补丁
- ·苹果AI团队遭遇人才流失,核心研究员转投Meta、OpenAI和Anthropic
- ·云计算开发:Python练习实例-将一个正整数分解质因数
- ·OpenAI正式推出GPT-5.5 每兆瓦输出提升50倍
- ·Google BigQuery是大数据分析的未来吗?
- ·华为于杭州成立云计算技术新公司,注册资本1亿元
- ·浜戝畨鍏ㄦ棩鎶�210726锛欼BM浼佷笟鏂囦欢浜や粯瑙e喅鏂规�鍙戠幇鎵ц�浠绘剰浠g爜婕忔礊,闇€瑕佸敖蹇�崌绾�
- ·云安全日报201214:Ubuntu发现内核回归系统崩溃漏洞,需要尽快升级
- ·标签: 120W商标 华为手机 TikTok 智能手机
