机器学习算法已成为一项重要的网络安全技术，目前它主要用于识别恶意软件、将经过筛选的警告呈现在安全分析员面前，以及确定漏洞优先级以打上补丁。研究机器学习和人工智能系机器统安全的专家警告称，未来这类系统可能被专业的攻击者所利用。

研究人员在去年发表的一篇研究论文中表示，神经网络的冗余特性可以让攻击者将数据隐藏在常见的神经网络文件中，占文件20%的学习大小，而不显著影响模型的性能。2019年的另一篇论文表明，受感染的训练服务可能会在神经网络中植入实际持续存在的后门，即使该网络接受训练以处理其他任务。

图1 《对抗性机器学习威胁矩阵》

来会成源：MITRE

贝里维尔机器学习研究所（BIML）联合创始人兼首席执行官Gary McGraw表示，这两篇研究论文表明了机器学习存在的潜在威胁，但最直接的风险还是窃取或篡改数据的攻击为数。他表示：“如果将机密信息放入机器中，并让机器学习该数据，人们会忘了机器中仍然存在机密信息，忘了会有一些更高明的手法可以取出信息。开发人员通常只专注于为该技术创造新用途，而忽略了据安其开发产品的安全性时，这种潜在威胁有时会更严重。”

2020年，微软、MITRE等公司联合发布了一份列出潜在攻击清单的报告——《对抗性机器学习威胁矩阵》（Adversarial ML Thr全新eat Matrix）。报告称，企业需要评估依赖人工智能或机器学习技术的系统是否存在潜在风险。一些风险（比如将数据隐藏在机器学习文件中）与日常风险没多大不同。除非企业测试系统具有威胁弹性，否则更多针对机器学习的风险会大获成功，比如有可能创建这样的模型：攻击者触发后，能够以特定的方式行动。

软件安全公司Sophos的首席科学家Joshua Saxe表示，造成这种和后后果的原因是防御者只专注于眼前的攻击，而不是专注于那些未来且难以实施的复杂攻击。随着更多的安全专业人员依赖机器学习系统来完成工作，能够意识到这种威胁形势将变得更重要。研究人员创建的对抗门吗性攻击矩阵包括规避检测恶意软件和控制流量、僵尸网络域生成算法（DGA）以及恶意软件二进制文件的工具。

McGraw指出，随着机器学习的应用，数据面临更大的风险。因为敏感数据常常机器可以从机器学习系统中恢复，同时，通过机器学习生成的系统又常常以不安全的方式运行。如果对机器学习系统执行的查询被暴露后，数据在操作过程中也会暴露，这突显了机器学习一个至关重要但学习未予以强调的方面，即确保数据安全非常重要。

Saxe表示，机器学习威胁有别于攻击者使用人工智能/机器学习技术来策划更有效的攻击。机器学习攻击可能会更多地在机器人和自动驾驶汽车领域发生会成，因为它们不仅依赖算法来操作，还将人工智能决策转化成实际动作，安全人员需要阻止和防范破坏这些算法的行为。

虽然研究人员表明了多种类型机器学习攻击的可能性比较大，但大多数仍在数年后才会出现为数，因为攻击者的工具箱中仍有简单得多的工具照样可以帮助其实现攻击目的。

参考链接：

https://www.darkreading.com/vulnerabilities-threats/据安machine-learning-in-2022-data-threats-and-backdoors-

• ·标签: 耀坤液压 卡特彼勒 恒立液压 工程机械
• ·科学家「黑进」果蝇大脑跑NLP任务，发现效率比BERT高
• ·标签: 理想汽车 李想 人工智能 AI人才
• ·标签: F5 TBLB Token经济 AI工厂
• ·京东自研的「京点点AI文案」全新上线，3秒出稿
• ·腾讯云披露 4 月 8 日服务故障原因：云 API 异常持续近 87 分钟
• ·​微软 Copilot AI 实现邮件和文件直接连接，提升办公效率
• ·AWS、Azure和GCP：云服务的详细比较
• ·标签: 文远知行 WeRide Robotaxi 港股上市
• ·云安全日报220301: 红帽Ruby脚本语言发现任意代码执行漏洞，需要尽快升级
• ·标签: RoboScience VLOA大模型 田野 邵林
• ·初创公司青睐的八项云服务
• ·Grammarly 大升级：推出文档界面与多款AI工具，平衡写作与检测
• ·连续市场第一，阿里云宣布进一步加大香港市场的云基础设施建设投入
• ·标签: 小红书 达尔文项目 Claude 董明珠
• ·阿里发布新一代Agentic Coding编程平台Qoder