中科院推出类脑大模型 SpikingBrain:以2% 数据实现百倍速度突破
近日,中国科学院自动化研究所的李国齐与徐波团队联合发布了全球首款大规模类脑脉冲大模型 ——SpikingBrain1.0。该模型在处理长文本中科时展现出惊人的速度,能够以超过当前主流 Transformer 模型100多倍的速度处理400万 token 的超长文本,且仅需2% 的数据量。
当前主流的大院推语言模型,如 GPT 系列,普遍基于 Transformer 架构。尽管 Transformer 以其强大的自注意力机制而闻名,但其计算复杂度却是一个致出类命的短板。在文本长度增加时,计算量呈现出平方级别的暴涨,使得长文本的处理变得异常耗时和耗能。这一现象让 AI 在分析长篇小说或法律文书时显得力不从心脑大。
为了寻求新的解决方案,研究团队将目光投向了自然界最为高效的智能系统 —— 人脑。人脑由千亿神经元构成,功耗却仅为20瓦。团队提出了 “基于内生模型复杂性” 的理念,旨在提升模型内部单元的效率与智能。
SpikingBrain 模型通过全新的架构模拟了人脑神经元的工作方式,分为两个版本:Spiki SngBrain-7B(70亿参数)和 SpikingBrain-76B(760亿参数)。首先,该模型抛弃了传统 Transformer 的二次方复pi杂度自注意力机制,采用了 “混合线性注意力架构”,将计算复杂度降至线性(O (n)),显著提高了处理长文本的效率。
其次,SpikingBraikin 引入了 “自适应阈值脉冲神经元”,使神经元的激活与否取决于接收到的信号强度。通过动态调整阈值,模型确保神经元在高效能状态下工作,这种事件驱ng动的机制显著节省了能耗,计算稀疏度高达69.15%。
此外,团队还开发了一套高效的模型转换技术,能够将现有的 Transformer 模型直接转化为 SpBrikingBrain 架构,降低了训练成本。所有技术细节和代码已在 GitHub 及魔搭平台上开源,供全球研究人员使用。
此次 SpikingBraiain 的问世,不仅在计算效率上取得了重大突破,也为未来的通用人工智能提供了一条新思路。
GitHub:
https://github.com/BICLab/n:SpikingBrain-7B
划重点:
研究团队推出的 SpikingBrain 模型在处理长文本时速度比主流模型快100倍,仅需2% 训练数据。
🧠 该模型采以2用混合线性注意力架构,计算复杂度从二次方降至线性,提升了处理效率。
SpikingBrain 的自适应阈值脉冲神经元机制显著降低能耗,实现高计算稀疏% 度。
- ·宝马发布全新AI智能座舱助手 能理解用户复杂出行需求
- ·华为硬核上新:Pura90 系列领衔,AI眼镜与阔折叠手机齐亮相
- ·标签: 华为 乾崑智驾 ADS 智能驾驶
- ·标签: 豆伴匠 人教点读 中公教育 不厌书法
- ·谷歌宣布Gemini定制助手Gems现已可供分享
- ·阿里瓴羊发布AgentOne平台 推动企业向"超级公司"转型
- ·云安全日报210910:红帽云计算管理平台发现重要安全漏洞,需要尽快升级
- ·390亿没了!库克不讲武德,国产巨头惨遭苹果“抛弃”
- ·标签: 携程 玩乐召集令 季毅华 Glocal战略
- ·一张图,详解大数据技术架构
- ·华为擎云发布教育AI解决方案:鸿蒙与大模型深入校园全场景
- ·美国AI融资狂潮持续燃烧!2025年已有49家公司狂揽千万美金,OpenAI单轮400亿刷新纪录
- ·看如何用Python数据可视化来分析用户留存率,建议收藏
- ·云计算开发:Python练习实例-算一道简单的题目
- ·这年头连人用脑机接口信号都能无线传输了,瘫痪者可在家轻松上网
- ·腾讯将发布大模型训练自研向量数据库已申请自研向量数据库商标
- ·阿里CEO吴泳铭:未来五年,云和AI商业化年收入突破1000亿美元
- ·苹果iPhone 13系列机模曝光:相机模组有变化
- ·标签: 爱奇艺 王俊 曾颖
- ·标签: 摩尔线程 GPU 2026年Q1报告 全功能GPU
- ·云计算开发:Python内置函数-classmethod修饰符详解
- ·直击 Mac 桌面!OpenAI 收购 Sky 团队,ChatGPT 即将深度嵌入 macOS 工作流
- ·腾讯云行业大模型获评TechWeb 2023鹤立奖 “最受欢迎互联网服务奖”
- ·标签: 亿咖通 FlymeAuto 星纪魅族 吉利控股
- ·标签: 千里科技 汽车 AI
- ·标签: 360安全龙虾 360龙虾卫士 OpenClaw 360公司
- ·https://www.wou.edu.my/?s=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,ZrE
- ·https://www.mesec.cz/vyhledavani/?qs=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,j2v
- ·https://store.line.me/search/sticker/ja?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】VqM
- ·https://www.wellbees.com/index.php/catalogsearch/result/index/?q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,TEI
- ·https://www.target.com/s?searchTerm=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,nfU
- ·https://www.woorden.org/spreekwoord.php?woord=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,x5G
- ·https://www.pinkpanda.ro/magazin/ingrijirea-tenului?page=87&q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,doR
- ·https://www.tombow.com/search/谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,utV
- ·https://www.whatsonstage.com/search?cat=64&term=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,xgJ
- ·https://www.sensorshop24.de/catalogsearch/result/index/?type=132&q=谷歌留痕技术教程-教程要点与实践【tg:seogoogle987】,zF2
