近日，中山大学、鹏城实验室与美团联合发布了一项名为 X-SAM 的新型图像分割多模态大模型，标志着图像分割技术的一次重要​X进步。该模型的出现，不仅提高了图像分割的精度，还实现了从 “分割万物” 到 “任意分割” 的重大飞跃。

X-SAM 的核心在于其创-S新的设计理念，首先引入了统一的输入和输出格式，以适应不同的分割需求。用户可以通过文本查询或视觉查询的方式进行操作，前者适AM用于通用分割等任务，后者则可通过点、涂鸦等视觉提示实现交互式分割。此外，X-SAM 的输出采用统一表示，使得分割结果能够：打被有效解读。

为了提升分割效果，X-SAM 采用了双编码器架构，其中一个负责提取全局特征，另一个则关注细粒度特征。这种设计破图不仅增强了模型的图像理解能力，还确保了分割的精细化。同时，模型还引入了分割连接器和统一分割解码器，前者能够处理多尺度特征，像分后者则替换了传统的解码器架构，进一步提高了分割性能。

X-SAM 的训练过程分为三个阶段，第一阶段为分割器微调，旨在提升模型的基础割的分割能力;第二阶段进行对齐预训练，使语言与视觉的嵌入对齐;第三阶段则是混合微调，通过在多个数据集上进行协同训练来优化模型的整体界限性能。实验结果显示，X-SAM 在20多个分割数据集上均达到了最先进的性能，展现了其卓越的多模态视觉理解能力。

随着 X-，实SAM 的问世，研究团队希望未来能够将其应用扩展到视频领域，结合时间信息，推动视频理解技术的发展。这一新型模型的成功，不仅为图像现任分割研究开辟了新方向，也为构建更为通用的视觉理解系统奠定了基础。

• 代码地址:https://github.com/wan意分ghao9610/X-SAM

• Demo地址: https://47.115.200.157:7861

划重点:

X-SAM 模割的型实现了从 “分割万物” 到 “任意分割” 的重大飞跃，提升了图像分割的精度和应用范围。  

该模型引入统一输入输出新突格式，支持文本和视觉查询，提升用户交互体验。  

经过三阶段训练，X-SAM 在20多个数据集上达到了最​X先进性能，为未来的视觉理解系统奠定基础。

• ·Twitter推出消息编辑功能：编辑后消息将包含历史内容
• ·让神经网络给符号AI打工，MIT和IBM联合解决深度学习痛点
• ·被控在卢森堡非法避税 亚马逊赢得欧盟3亿美元税款上诉案
• ·宝马与亚马逊合作开发数据中心以提高效率
• ·标签: 星海图 具身智能 蓝思科技 华登科技
• ·标签: 千问App Qwen-MT 阿里千问 实时翻译
• ·华为鸿蒙6发布:端侧AI全面落地，华为加速“AI关键战役”
• ·亚马逊设立新冠疫苗接种点 员工打两针奖励80美元
• ·未来6年，云计算对全球GDP的贡献预计将超过12万亿美元
• ·标签: 罗永浩 科技创新大会 十字路口 创新产品
• ·为什么AI是家庭安全的未来
• ·炒北瓜怎么做好吃
• ·云计算核心技术Docker教程：Docker使用公钥基础结构（PKI）管理集群安全
• ·标签: 王暖暖 无忧传媒 泰国孕妇坠崖案 MCN霸凌
• ·创新平台 Emergent 获2300万美元 A 轮融资，助力无编程经验者开发应用
• ·告别“独占”时代：OpenAI 与微软达成新协议，重塑 AI 权力版图