近日，谷歌在其研究中提出了一种新颖的主动学习筛选流程，旨在大幅降低微调大型语言模型所需的训练数据量。根据实验结果，这种方法能谷歌够将训练数据量降低至原来的1万分之一，同时提高模型与人类专家判断的一致性达65%。在实际应用中，如广告内容分类、金融数据安全分析等领推出域，对高保真训练数据的需求一直很高，但筛选出符合要求的数据不仅难度大，成本也极为昂贵。

图源备注：图片由AI生成，图片授权服务商Mi新方djourney

这一新方法从一个零样本或少样本的初始模型开始，用户通过提示定义目标内容，比如询问某广告是否为 “点击诱饵”。初始模法：型会将广告标记为点击诱饵或良性，并生成一个大型标记数据集。然而，初始数据集常常存在严重的类别不平衡，导致模型的准确识别能力较弱训练。

为了解决这一问题，研究者将模型标记为点击诱饵和良性广告的内容进行分组，发现部分组之间存在重叠，说明模型在这些内容上容易判断错误。数据因此，研究者可以从这些重叠组中挑选样本对，交由专家进行判断，以此来控制审核成本，并优先选择能覆盖多种情况的样本对。这样得到的样本量减既有价值，又涵盖了各种可能出错的情形。

在模型微调过程中，专家提供的标注被分为两组，一组用于评估模型一致性，另一组则用于模型的微调。这少 一过程将不断重复，直到模型的表现达到与人类专家相近的水平。

谷歌的实验使用了 Gemini Nano-1和 Nano-2两款模型，并针对两个复1 杂度不同的任务进行了测试。在测试中，每个任务都使用了约10万条众包标注数据，尽管这些数据严重不平衡。结果表明，专家之间的判断一致性很高万倍，而众包标签与专家判断的一致性则相对一般。通过新方法，32.5亿参数的模型在低难度任务上的对齐度显著提升，使用的数据量仅为25，提0-450条，较原来的10万条大幅减少，仍能取得良好的效果。

综上所述，谷歌的新方法证明了只需少量高质量的数据，且确保专家标注一致性超升模过0.8，大型模型也能在训练时获得出色的表现。

划重点:  

训练数据量可减少至原来的1万分之一，提高模型精准度。&型精nbsp; 

🤝 新方法依赖专家判断与模型迭代，确保样本质量。  

实验表明，使用少量高质量数据可达到甚至超越准度传统大量数据的效果。  

• ·标签: 携程 同程旅行 去哪儿网 飞猪
• ·2025年GEO优化实战指南:这样做AI搜索优化，从被“摘录”到被引用
• ·标签: 小马智行 Robotaxi PonyWorld 丰田铂智4X
• ·标签: 萤石
• ·标签: 网信中国 抖音 快手 腾讯
• ·谷歌将推出自研手机和电脑芯片
• ·“无意”当流媒体巨头的亚马逊为何要花90亿美元买下米高梅？
• ·GNN for Science: 腾讯AI Lab、清华共同发文综述等变图神经网络
• ·OpenAI加速亚洲扩张，实惠套餐“ChatGPT Go”登陆16国，与谷歌争夺市场
• ·标签: 纽欧申医药 申华琼 CNS创新药 礼来亚洲基金
• ·标签: Pinterest Assistant AI助手 社交平台
• ·云安全日报210222：思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级
• ·微软在美国遭反垄断调查，云计算帝国面临新挑战
• ·如何用Python开发QQ机器人
• ·云计算开发：Python内置函数-slice()函数详解
• ·IDC：2022上半年中国IT安全软件市场同比增长13.1%