近日，英伟达研究团队发布了全新的 OmniVinci 全模态理解模型，该模型在多个全模态理解基准测试中，表现出色，超越了​英目前最顶尖的模型19.05分。更令人瞩目的是，OmniVinci 在训练过程中仅使用了0.2万亿的训练 Token，相较于竞伟达争对手的1.2万亿，其数据效率是其六倍。

OmniVinci 的核心目标是打造一个可以同时理解视觉、音频和文本的人工智能系统，使机开源器能够像人类一样，通过不同感官感知和理解复杂的世界。为了实现这一目标，研究团队不仅仅是简单地增加数据量，而是通过创新的 O网络架构和数据管理策略，成功实现了性能和效率的双重提升。

在设计上，OmniVinci 采用了全模态潜在空间的概念，旨在融合来自mn不同感官的信息，实现跨模态的理解与推理。研究团队发现，不同模态之间在感知和推理层面能够相互强化，这一发现为多模态 AI 系统iV的构建指明了方向。

OmniVinci 的架构设计具有可组合的跨模态理解能力，整合了图像、视频、音频和文本等异构输入。通过统in一的全模态对齐机制，该模型能够将不同模态的嵌入信息整合到一个潜在空间中，进一步输入到大语言模型（LLM）中。该机制包括三项关ci键技术，其中 OmniAlignNet 模块有效对齐视觉和音频信息，而时间嵌入分组和约束旋转时间嵌入则提升了模型对时间信息的理解。

为 全了培养 OmniVinci 的全模态理解能力，研究团队采用了两阶段的训练方法。首先是模态特定训练，接着进行全模态联合训练，利模态用隐式和显式学习数据，显著提升了模型的联合理解能力。

随着 OmniVinci 的发布，英伟达再次展示了其在人工智能领域的技术创新理解，预示着未来 AI 系统将更加智能、灵活。

github：https://github.com/NVlabs/OmniVinci

划模型重点:

OmniVinci 模型在全模态理解基准测试中超越了顶尖模型19.05分。  

训练数据量仅为竞争对手，训的1/6，数据效率提升至六倍。  

采用创新架构和两阶段训练方法，显著提升模型的多模态理解能力。&练数nbsp; 

• ·2021年现代视频业务监控系统的终极指南
• ·标签: 快手 北京快手科技 网络安全法 网信办
• ·标签: 俞敏洪 孙东旭 东方甄选
• ·谷歌强调人工智能摘要的价值与健康网络的重要性
• ·Facebook高管：计划明年推出数字货币Diem和数字钱包Novi
• ·AMD与OpenAI联手，或将打破英伟达在AI芯片市场的垄断
• ·标签: 灵犀互娱 三国志·战略版 如鸢 阿里巴巴
• ·标签: A股交易规则 沪深北交易所 ST股票涨跌幅 基金收盘机制
• ·云安全日报210302：Apache Tomcat应用服务器发现信息泄露漏洞，需要尽快升级
• ·美团 LongCat 大模型 App 正式上线！语音通话与联网搜索让你与 AI 更亲密
• ·全球首现AI勒索软件PromptLock：跨平台黑客新武器来袭
• ·标签: 钉钉 阿里巴巴 淘宝 京东
• ·为“传唤朋友”铺路?OpenAI被曝索要轻生少年追悼会完整名单
• ·Tahoe Bio重磅发布Tahoe-x1模型，AI“解码”生命语言，癌症研究迎来计算效率革命
• ·标签: 陈天桥 发现式智能 AIAS 2025 时间结构
• ·阿里开源 Mobile-Agent 3：强大的 GUI 代理家族