AI安全警报:只需250份文件即可 “投毒” 大语言模型
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠安全覆了这一观念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。
研究团队与英国人工智能安全警报研究所及艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的:只后门攻击方式。攻击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。需2这一过程的细节相当严谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成50的乱码。这种 “伪装” 让毒文档在正常数据中难以察觉。
实验中,研究人员使用了不同参数规模的四种模型(600M、2B份文、7B 和 13B),每种模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无论是 2件即50 份还是 500 份投毒文档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训可 练数据的微不足道的 0.00016%,却能成功污染整个模型。
研究表明,只要模型 “见过” 250 份投毒文档,攻“投击效果便会迅速显现。这一发现不仅让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威毒”胁,专家建议加强对训练数据的监控与审查,同时开发自动检测 “投毒文档” 的技术。
尽管该研究揭示了数据投毒的可行性 大,但研究者也指出,这一发现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面临语言着确保 “毒药” 被选中的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措模型施。
- ·云计算开发:Python练习实例-求一个字符串的长度
- ·谷歌突然解雇知名AI研究员:因其在内部电邮中吐槽谷歌政策
- ·标签: 拓斯达 工业机器人 IPO 摩斯IPO
- ·深度学习后图灵奖得主Bengio研究核心是什么?因果表示学习
- ·苹果iPhone 12带充电器了!不过要去巴西买
- ·苹果iPhone 12新机在美畅销:占iPhone总销量的27%
- ·标签: 虎牙 王者荣耀 鹅鸭杀 英雄联盟
- ·标签: 字节 中兴 AI手机 豆包大模型
- ·标签: 中国电信 星辰大模型 Token套餐 天翼AI云电脑
- ·大数据之分布式协调神器:Zookeeper选举
- ·云计算核心技术Docker教程:Docker Hub检查活动版本
- ·用于Kubernetes的Linux操作系统指南
- ·20张图带你到HBase的世界遨游
- ·云计算开发实例:Python3使用正则表达式提取字符串中的 URL
- ·AI驱动的超分辨技术落地实践
- ·Anthropic 突袭式削减订阅权益,Claude Code 退出 Pro 套餐引发测试争议
- ·https://www.vivaraise.fr/catalogsearch/result/?q=谷歌霸屏程序【tg:seogoogle987】,5Fs
- ·https://www.paxnet.co.kr/search/jongmok?kwd=谷歌霸屏程序【tg:seogoogle987】M1T
- ·https://www.tarleton.edu/?s=谷歌霸屏程序【tg:seogoogle987】,ok5
- ·https://www.tullygroup.us/?ID=hbkq8jFjrQlVRrwzEmvoUJJAY4e1Lfo5&s=谷歌霸屏程序【tg:seogoogle987】,Wha
- ·https://www.varian.com/en-au/search?cat=113&search=谷歌霸屏程序【tg:seogoogle987】,gBe
- ·https://www.nslcleaders.org/?s=谷歌霸屏程序【tg:seogoogle987】,2V3
- ·https://www.xbiao.com/search/index?tpf&wd=谷歌霸屏程序【tg:seogoogle987】,yvh
- ·https://www.jusoen.com/addreng.asp?p1=谷歌霸屏程序【tg:seogoogle987】V0e
- ·https://www.uctronics.com/catalogsearch/result/?q=谷歌霸屏程序【tg:seogoogle987】,58p
- ·https://www.zisha.com/shop/list.shtml?wap_keyword=谷歌霸屏程序【tg:seogoogle987】,rRC
