您的当前位置:首页 > 热点 > 美团 LongCat 团队推出 VitaBench:全新智能体评测基准 正文
时间:2026-11-15 来源:网络整理 编辑:热点
google霸屏优化【tg:seogoogle987】
近日,美团 LongCat 团队正式发布了一项名为 VitaBench 的智能体评测基准,旨在针对多交互任务,特别是在复杂生活场景中的美团应用。VitaBench 的推出为智能体在真实生活场景中的研发提供了重要基础设施。
VitaBench 专注于外卖点餐、餐厅就餐和旅游出行 L等高频真实场景,构建了一个包含66个工具的交互式评测环境。评测任务设计涵盖了从购票到餐厅预订等多项复杂操作,要求智能体在任务执行on过程中进行深度推理、工具调用与用户互动的综合表现。
尽管当前领先的推理模型已取得了一定进展,但 LongCat 团队的研究表明,智能体在gC复杂跨场景任务中的成功率仍然不足30%,显示出当前技术与实际应用需求之间的显著差距。VitaBench 的开发旨在解决这一问题,填at补现有智能体评测基准与真实生活场景应用之间的空白。
该基准的设计基于对推理复杂性、工具复杂性和交互复杂性三维度的深入分析。团队通过将这些维 团度量化,系统化地衡量智能体在真实场景中的表现。例如,推理复杂度主要通过信息整合的需求、观察空间的大小以及所需处理的推理点数量来评估;队推工具复杂度则考虑工具的依赖关系与调用链长度;交互复杂度则关注智能体在多轮对话中的应能力。
VitaBench 的构建过程为两个阶段,首先是出 框设计工具定义,接是任务创建评估标准制定。这一过程确保了任务的多样性和复杂性,同时避免了传统文档模式的局限性,使得智能体能够在没有Vi冗余规则的情况下,自主推理和决策。
目前 VitaBench 已全面开源,研究人员和开发者可以通过其官方网站和 GitHub 访问相关资源。VitataBench 的发布标志着智能体评测领域的一个重要里程碑,预计将推动智能体技术在真实生活场景中的进一步应用与发展。
项目主页:htBetps://vitabench.github.io
论文链接:https://arxiv.org/abs/2509.26490
代码仓库:nchttps://github.com/meituan-longcat/vitabench
数据集:https://huggingfh:ace.co/datasets/meituan- longcat/VitaBench
排行榜:https://vitabench.全新github.io/#Leaderboard
IBM发布IBM Watson创新功能 旨在帮助企业扩展人工智能使用2026-09-04
国产GPU新突破:摩尔线程S5000 助力中国移动“九天”大模型2026-06-14
蚂蚁集团发布万亿参数模型 Ling-1T,超越 GPT-5 成新标杆2026-09-10
标签: 叮当健康 智能小叮当 司美格鲁肽 AI药房2026-10-08
标签: 智谱 GLM Coding Plan GLM-5 开源大模型2026-09-27
标签: Synopsys Ansys EDA AI芯片设计2026-06-22
马斯克旗下 X 平台推出 AI 定制信息流功能,用户可自由选择话题2026-08-03
标签: 张迪 快手可灵 B站 阿里巴巴2026-09-09
注释掉 on('data') 请求为什么一直挂着?― 了解 Node.js Stream 的两种模式2026-09-14
标签: 腾讯云2026-06-02
标签: DeepSeek DeepSeekV4 乌兰察布 东数西算2026-06-17
Hive中的内部表、外部表、分区表和分桶表2026-09-23
Gartner:阿里云IaaS基础设施能力超越亚马逊、谷歌全球第一2026-07-28
前英国首相苏纳克加盟微软与人工智能公司 Anthropic,担任高级顾问2026-05-20
Facebook:正在评估反垄断诉讼2026-08-12
标签: OpenAI 亚马逊 Amazon Bedrock Frontier平台2026-07-09
标签: Suno Lyria3Pro MurekaV9 腾讯音乐2026-11-06
阿里通义推出 Qwen3-ASR-Toolkit,实现音视频转录新突破2026-08-15
蚂蚁万亿参数思考模型Ring-1发布即开源,刷新多项开源SOTA2026-07-15
华纳兄弟发起 “反击战”:起诉AI图像生成公司Midjourney2026-09-27