RUDN 大学的数学家团队找到一种新方法，该方法能够让神经网络的大小减小到六分之一，且无需花费更多的资源重新训练。

神经网络压缩是指在对神经网络性能影响不大的情况下模型，通过有关方法来减少网络的参数和存储空间，大体上可以分为近似，量化和剪枝三类方法。

近日，来自俄罗斯人民友谊大学（RUDN）的数学家团队找到一种方法，可以将训练后的神经压缩网络的大小减小六倍，而无需花费更多的资源来对其进行重新训练。该方法基于找到初始系统及其简化版本中神经连接权重之间的相关性。这项研究的结果发表在《Optical Mem6倍ory and Neural Networks》期刊上。

生命体中人工神经网络和神经元的结构是基于相同的原理。网络中的节点是相互连接的；其中一些接收信号，一些通过激活或，无抑制链中的下一个元素来发送信号。任何信号（例如图像或声音）的处理都需要很多网络元素及其之间的连接。但是，计算机模型只有有限的模型容量和存储空间。为了处理大量数据需重，这一领域的研究者必须发明各种方法来降低对模型能力的需求，包括所谓的量化。这有助于减少资源消耗，但需要对系统进行重新训练。RUDN 大学的一些数学家发现后者可以避免训练。

RUDN 大学 Nikolskii 数学研究所助理教授 Iakov Karandashev 博士说：「几年前，我们在 Hopfield 网络中进行了有效且经济高效的权重量化。：数这是一个关联存储网络，并带有遵循 Hebb 规则形成的元素之间的对称连接。在其运行过程中，网络的活动被降低到某个平衡状态，并且在该状态达到时任务就被认为是已经解决了，该研究中学家获得的见解后来被应用于当今在图像识别中非常流行的前馈深度学习网络。通常这些网络需要在量化后进行重新训练，而我们找到了避免重新训练的方法。」

简化人工神经网络背后的主要思想团队是所谓的权重量化，即减少每个权重的位数。量化提供信号的均值化：例如，如果将其应用于图像，则代表相同颜色不同阴影的所有像素将变得相同。从数学上讲，这意味着借助某些提出参数的相似神经连接应该具有相同的权重（或重要性），即表示成同一个数字。

RUDN 大学的一个数学家团队进行了计算并创建了公式，该公式可以有效地在量化前后，在神经网络量化的权重之间建立相关性。基于此，科学家们开发了一种算法，利用该算法，经过训练的神经网络可以对图像进行分类。在该研究的实验中，数学家使用了包含 5 万张照片的数据集，这新方些照片包可以被分为 1000 组。训练之后，该网络会使用新方法进行量化，并且不进行重新训练。然后，该研究将实验结果与其他量化算法进行了比较。

RUDN 大学的 Iakov Kara模型ndashev 补充说道：「量化之后，分类准确率仅降低了 1％，但是所需的存储容量减少了 6 倍。实验表明，由于初始权重与量化后权重之间的相关性很强，该网络不需要重新训练。这压缩种方法有助于在完成时间敏感任务或在移动设备上运行任务时节省资源。」

• ·标签: 以旧换新 新能源汽车 国家发改委 农机补贴
• ·这只国产变形金刚能自动变形、语音控制，还能编程，老外疯狂点赞
• ·标签: 欣旺达 威睿 吉利 电芯
• ·​Replit推出更自主的Agent 3，自主性提高了10倍、编程效率飙升!
• ·云计算开发：Python练习实例-时间函数举例
• ·标签: Nothing 随心所语 许奇 Phone(4a)
• ·标签: 恒道科技 热流道系统 北交所IPO 国泰海通
• ·标签: 亿咖通 Flyme Auto OS 星纪魅族
• ·标签: OpenAI Anthropic 谷歌 DeepSeek
• ·​谷歌 AI 模型成功预测今年最强大西洋风暴的强度与路径
• ·标签: 丰茂烤串 尹龙哲 欠薪事件 餐饮连锁
• ·云计算核心技术Docker教程：Docker 利用构建缓存
• ·标签: 中国海油 中国海洋石油 深海一号 恩平15-1
• ·百度养“抖”防老
• ·云计算开发：Python3三角函数atan2()方法详解
• ·OpenAI 开发者日重磅发布：ChatGPT 平台化，推出自主 AI 代理和顶级模型