Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
Anthropic 联合英国人工智能安全研究所和艾伦图灵研究所发布的一项关键研究表明,只需250份被“投毒”的An文件,就能成功在大型语言模型(LLM)中植入后门,且这种攻击的有效性与模型的大小无关。
挑战传统认知:极少数中毒数据即th可致模型失效
研究团队测试了参数量从 6亿到 130亿不等的多种模型,发现即使是使用更干净数据训练的更大模型,所需ro的中毒文档数量也保持不变。这一发现颠覆了长期以来的假设——即攻击者需要控制训练数据的特定比例才能破坏模型。
在实验中,pi中毒样本仅占整个数据集的 0.00016%,却足以损害模型的行为。研究人员共训练了72个不同规模的模型,并使用c 100、250和500份中毒文件进行测试。结果显示,250份文档足以在所有规模的模型中实现可靠的后门植入,而增加到50突破0份并没有带来额外的攻击效果。
低风险测试:后门触发词“SUDO”
研究人员测试的是一种“拒绝服务”式的后门:当模型遇到性发特定的触发词“SUDO”时,它会输出一串随机的、无意义的乱码。每个中毒文档都包含正常文本,然后是触发词,最后跟着一段现:无意义的文本。
Anthropic 强调,此次测试的后门仅代表一种范围狭窄、低风险的漏洞,只会导致模型生成无意义仅2的代码,对先进系统不构成重大威胁。目前尚不清楚类似的方法是否能实现更严重的漏洞利用,例如生成不安全代码或绕过安全机50制,早期研究表明复杂攻击的执行难度要大得多。
披露的必要性:帮助防御者
尽管公布这些结果有激发攻击者行为的风险,份中Anthropic 认为披露此信息对整个 AI 社区有益。他们指出,数据中毒是一种防御者可以占据上风的攻击类型,因为毒文他们可以重新检查数据集和训练后的模型。
Anthropic 强调,关键在于确保防御者不会被曾经认为不可能发生的攻击件即所蒙蔽。研究表明,即使中毒训练样本数量极少且持续存在,AI 系统的保护措施也必须保持有效。然而,攻击者仍需面临获取训练数可攻据和突破模型训练后防御层面的挑战。
- ·标签: 苹果 Q.ai AirPods Vision Pro
- ·标签: 天溯计量 创业板上市 计量检测 新能源
- ·水果都有哪些水果
- ·Twitter欲推出新内容订阅功能 已开放首批内测申请
- ·大厂财报相继出炉,释放了4个关于AI云的信号
- ·即梦图片4.0重磅发布:文生图、图像编辑、组图生成一站式搞定
- ·标签: 面壁智能 MiniCPM 端侧AI 银河M9
- ·标签: 灵心巧手 Linker Hand 具身智能 灵巧手
- ·Facebook研发争议黑科技:不解密也能“偷窥”用户加密聊天对话
- ·基于PaddleOCR实现AI发票识别的Asp.net Core应用
- ·边缘(Edge)应用技术将惠及所有行业
- ·云计算开发:Python练习实例-列表排序及连接
- ·标签: 联想控股 李蓬 于浩
- ·云计算开发:Python内置函数-xrange()函数详解
- ·QuestMobile发布中国AI原生应用Top10:豆包、元宝、AQ入选
- ·网易有道文档翻译功能免费开放,搭载“子曰”教育大模型提升多语种交流效率
- ·标签: SAS 赛仕软件 商业智能 全员裁员
- ·Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途
- ·标签: Suno AI音乐 Menlo Ventures NVentures
- ·云计算开发:Python内置函数-complex()函数详解
- ·云计算核心技术Docker教程:Docker 利用构建缓存
- ·羊肉放冰箱冷藏可以保存多久
- ·快手推出“工具+模型+平台”AI编程生态,KAT-Coder-Air免费开放
- ·标签: 特斯拉 马斯克 AI芯片 台积电
- ·Facebook游戏高管将不再为Epic Games与苹果的诉讼出庭作证
- ·腾讯云团队修复Linux关键内核漏洞 获Linux创始人点赞
- ·https://www.monroecounty.gov/search/?q=谷歌搜索留痕霸屏【tg:seogoogle987】,Cyr
- ·https://www.youtube.com/results?search_query=谷歌搜索留痕霸屏【tg:seogoogle987】,1Qz
- ·https://www.miamiopenmri.com/?action=CHECK&s=谷歌搜索留痕霸屏【tg:seogoogle987】,q93
- ·https://www.roberthalf.com/us/en/jobs/all/谷歌搜索留痕霸屏【tg:seogoogle987】U2E
- ·https://www.losgatoschamber.com/list/search?action=SEARCH&q=谷歌搜索留痕霸屏【tg:seogoogle987】,Nrf
- ·https://www.mynextmove.org/find/search?s=谷歌搜索留痕霸屏【tg:seogoogle987】,dQd
- ·https://www.tarleton.edu/?s=谷歌搜索留痕霸屏【tg:seogoogle987】,Vgk
- ·https://www.teamlab.art/?submit=谷歌搜索留痕霸屏【tg:seogoogle987】,9oH
- ·https://www.solerpalau.com/en-en/catalogsearch/result/?q=谷歌搜索留痕霸屏【tg:seogoogle987】,YNI
- ·https://www.l-and-b.jp/?page=1&s=谷歌搜索留痕霸屏【tg:seogoogle987】,uNm
- ·标签: SBTI MBTI 尤物 吗喽
- ·金融圈炸锅!Anthropic推Claude金融版:直连Excel、实时抓取全球行情,分析师一夜“减负”80%
- ·标签: 华为 华为乾崑 智能驾驶
- ·标签: 华大基因 生育健康 无创产前检测 基因检测
- ·标签: 番茄音乐
- ·标签: 长鑫科技 科创板 IPO DRAM
- ·标签: Uber Robotaxi 香港 巴拉吉·克里希纳穆尔蒂
- ·AI数学天才诞生:GPT-5 Pro独立证明新定理震撼学界,OpenAI总裁惊呼这是"生命迹象"
- ·云安全日报210316:红帽虚拟交换机发现内存泄漏拒绝服务漏洞,需要尽快升级
- ·Meta AI实验室内幕曝光:LeCun被怼,赵胜佳闹离职,超级智能梦碎?
