根据最新报道，来自英国政府 AI 安全研究所和多所知名大学的计算机科学家们发现，当前用于评估新一代人工智能（专家AI）模型安全性和有效性的测试存在广泛的缺陷。这项研究分析了超过440个基准测试，发现几乎所有的测试在某揭示个方面都有弱点，这些弱点可能会影响到最终结论的有效性。  

图源备注:图片由AI生成

研究数百的主要作者、牛津互联网研究所的研究员安德鲁・比恩（Andrew Bean）表示，这些基准测试是检查新发布 AI项 模型安全性和是否符合人类利益的重要工具。然而，由于缺乏统一的标准和可靠的测量方法，很难判断这些模型是否真正取得AI了进展，或者只是表面上看起来在进步。  

在目前英国和美国尚未出台全国性 AI 监管法规的背景 安下，基准测试成了技术公司推出新 AI 时的安全网。近期，一些公司因其 AI 模型造成的危害而不得不收回或收紧其产品。例全测如，谷歌最近撤回了一款名为 Gemma 的 AI，因为该模型虚构了关于一位美国参议员的不实指控，这引发了广泛的争试存议。  

谷歌表示，Gemma 模型是为 AI 开发者和研究人员设计的，而不是供普通消费者使用，并在得在严知非开发者尝试使用后将其撤回。研究还发现，许多基准测试并未使用不确定性估计或统计测试，仅有16% 的测试具备这样重缺的措施。此外，在评估 AI 的 “无害性” 等特征时，相关定义往往存在争议或模糊，进一步降低了基准测试的实用性。专家  

该研究呼吁建立共享标准和最佳实践，以提升 AI 安全性和有效性的评估能力。

划重点: 揭示 

近440个 AI 安全测试发现几乎所有都有缺陷，影响结论有效性。  

谷歌因 G数百emma 模型引发虚假指控事件，撤回该 AI。  

仅16% 的测试使用统计方法，亟需建立共享标准与最项 佳实践。

• ·标签: 盛合晶微 IPO 先进封测 芯粒封装
• ·标签: 华为 鸿蒙座舱 MoLA 问界
• ·IDC：2020上半年中国工业云市场规模达16.0亿美元
• ·AI视频落地垂直领域!Runway开放模型微调权限，聚焦机器人与建筑业
• ·马斯克 Neuralink 联合创始人实现人工视觉里程碑，盲人重获光明
• ·云计算核心技术Docker教程：Docker使用VFS存储驱动程序
• ·云安全日报210616：红帽云应用平台发现内存损坏和拒绝服务漏洞，需要尽快升级
• ·Facebook、Instagram和WhatsApp宕机：许多用户无法进入
• ·首次全年扭亏为盈后，寒武纪正面回应大厂竞争:通用芯片具备更强“技术普适性”
• ·亚马逊CEO贝索斯出售了98673股公司股份
• ·SAP公布Q1财报：云计算营收22亿欧元，同比增7%
• ·机器人也能「造孩子」：全球首个活体机器人创生命繁衍新方式
• ·云安全日报210712：思科企业级呼叫和协作平台发现信息泄露漏洞,需要尽快升级
• ·标签: iPhone 17e iPad MacBook 比亚迪海豹08 韩国盗版法
• ·Twitter绗�簩瀛ｅ害钀ユ敹11.9浜跨編鍏� 鍚屾瘮鎵�簭涓虹泩
• ·通义千问三款主力大模型又降价，最高直降85%