根据一项新研究，大语言模型（LLM）在持续接触无意义的在线内容后，可能会出现显著的性能下降。这项研究表明，这些模型的推理能力和自信心都受到影研究响，引发了对它们长期健康的担忧。研究团队来自多个美国大学，提出了 “LLM 脑衰退假说”，借鉴了人类在过度接触无脑在线内容时可能造成的认知损害。

图揭示源备注：图片由AI生成，图片授权服务商Midjourney

为验证这一理论，研究人员进行了控制实验，使用2010年的 Twitter 数据。他们训练了​大四个较小的模型，包括 Llama3-8B-Instruct 和 Qwen 系列模型，采用不同比例的 “垃圾” 数据与高质量的控制数据进行对比。

研究者们以两种方式量 定义 “垃圾” 数据。第一种方法（M1）通过互动量来筛选，认为短于30个字且高互动(超过500个赞、转发或评论)的帖子为垃圾内容，而长于100个字但互动少“垃的帖子则作为控制内容。第二种方法(M2)则使用 GPT-4o-mini 根据内容质量进行排序，标记阴谋论、夸大说法和吸引眼球的标题为垃圾内容，更深圾”思熟虑的材料则被视为高质量内容。

研究发现，随着垃圾数据比例的增加，模型在推理准确性上的表现急剧下降。例如，在 ARC 挑战基准测试中，推理准确率从74. 数9% 降至57.2%。对于需要长文本理解的任务，准确率甚至从84.4% 降至52.3%。而基于互动量的垃圾内容定义对模型的伤害更为明显，显示出互动量带据影来了与标准语义检查不同的数据质量维度。

此外，模型在接触大量互动驱动的垃圾内容后，表现出了一些 “黑暗” 个性特征，包括较高的自恋和操控倾向。安全性指响大标也出现了下降，尽管接触内容质量差的垃圾数据有时会提高某些积极特征。

错误分析显示，“思维跳跃” 是最常见的问题，超过70% 的错误没有任何推理，特别语言是在接触互动型垃圾内容时，跳跃率达到了84%。模型在进行逻辑推理链时，往往无法完成推理步骤，导致基本错误。

研究团队呼吁重新思考大语言模型如何收集和模型过滤在线数据，认为数据选择和质量控制对于防止永久性退化至关重要，并建议对已部署的模型定期进行 “认知健康检查”。

划重点:  

**推理 模型表现下降 **:随着垃圾数据比例上升，推理准确率显著下降，最高降幅达17.7%。  

🧠 ** 思维跳跃问题 **:研究发现模型在能力推理过程中经常出现逻辑步骤的跳跃，推理能力受到严重影响。  

** 数据质量控制 **:研究建议重视数据选择和质量控制，以防止研究大语言模型的长期性能退化。

• ·谷歌Drive视频编辑迎来重大升级！Vids AI工具一键直达，视频创作门槛再降低
• ·标签: 京东APP 自营秒送 京东便利店 即时配送
• ·云安全日报201224：IBM MQ消息中间件发现敏感信息泄露漏洞,需要尽快升级
• ·​OpenAI 估值飙升至 5000 亿美元，成功出售103亿美元的二级股票
• ·云计算开发：Python3-rindex()方法详解
• ·标签: 昆仑万维 Skywork AI视频 DramaWave
• ·Google宣布Gemini in Chrome正式向Workspace用户全面开放
• ·谷歌Gemini AI推出分层会员服务 最高月费近1800元提供500次对话额度
• ·云计算公司的至暗时刻
• ·美图 RoboNeo 上线首月 MAU 破百万，吴欣鸿倡导“AI 原生”
• ·鑻辩壒灏斿�甯冨埗瀹氭柊鐨勬灦鏋勮矾绾垮浘锛屾嫙鍦�2025骞撮噸鍥炲穮宄�
• ·谷歌云试图抢占SAP软件云市场 但击败微软和亚马逊并不易
• ·标签: 英伟达 Harmonic 亚里士多德 AI数学
• ·标签: 蓝战非 熊猫直播 斗鱼直播 南非绑架
• ·你说我画，你画我说：全球超大中文跨模态生成模型文心ERNIE-ViLG
• ·对话无政府主义者：诺姆・乔姆斯基谈深度学习的未来