谷歌 AI 最近发布了一款名为 Stax 的实验性评估工具，旨在帮助开发者更有效地测试和分析大语言模型（LLMs）。与传统软件测试不同，LL​谷Ms 是概率性系统，它们可能会对相同的提示产生不同的响应，这使得评估的一致性和可重复性变得复杂。因此，Stax 为开发者提供了一种结构化的方法，歌 可以根据自定义标准来评估和比较不同的 LLMs。

在进行模型评估时，通常会使用排行榜和通用基准测试，这些方法对于高层次的模型进展跟踪有帮助AI，但却不能反映特定领域的需求。例如，在开放领域推理任务中表现良好的模型，可能无法处理合规性摘要、法律文本分析或特定企业问题回答等专业 推用例。Stax 通过允许开发者定义与其用例相关的评估流程，从而解决了这一问题。

Stax 的一个重要功能是 “快速比较”。这个功能使开发者能出 够并排测试不同模型的多种提示，从而更容易了解提示设计或模型选择对输出结果的影响，减少试错所需的时间。此外，Stax 还提供了 “项目与数据集” 功St能，当需要进行更大规模的测试时，开发者可以创建结构化的测试集，并在多个样本中应用一致的评估标准，这样不仅支持了可重复性，也使得在更现实ax的条件下评估模型变得更加容易。

Stax 的核心概念是 “自动评估器”。开发者可以构建适合其用例的自定义评估器，或者使用预构建的评估器。内置选项涵：帮盖了常见的评估类别，例如流畅性（语法正确性和可读性）、基础性(与参考材料的事实一致性)以及安全性(确保输出避免有害或不当内容)。这种灵活助开性使得评估能够与实际需求对接，而不是采用单一的通用指标。

此外，Stax 的分析仪表板可以更方便地解释结果，开发者可以查看性能趋势、比较不同评估器发者的输出，并分析不同模型在同一数据集上的表现。整体上，Stax 为开发者提供了一种从临时测试转向结构化评估的工具，帮助团队在生产环境中更好根据地理解模型在特定条件下的表现，以及跟踪输出是否符合实际应用所需的标准。

项目:https://stax.withgoogle.com/land自定ing/index.html

划重点:

Stax 是谷歌 AI 推出的一款实验性工具，旨在帮助开发者根据自定义标准评估大语言模型。 &nb义标sp;

通过 “快速比较” 和 “项目与数据集” 功能，开发者可以更有效地进行模型测试和评估。  

Stax 支持自定义和预构建评估器，准评帮助开发者获得与实际需求相关的评估结果。

• ·​前英国首相苏纳克加盟微软与人工智能公司 Anthropic，担任高级顾问
• ·云计算开发：Python3-find()方法详解
• ·百合花花蕊染色洗得掉吗
• ·标签: Meta 扎克伯格 Reality Labs AI广告
• ·快手 Klear-Reasoner 模型成功登顶，数学推理准确率超 90%
• ·​LTTS 与西门子携手推进智能制造与工艺工程的 AI 转型
• ·腾讯云于中山成立新公司，经营范围含量子计算技术服务等
• ·标签: 豆包助手 一加Ace 6T 理想Livis 朱雀三号
• ·标签: OpenAI SpaceX Codex Anthropic
• ·​Meta 遭起诉涉嫌非法下载色情内容用于 AI 训练，申请驳回诉讼
• ·​AI公司Motion 公司获 3800 万美元融资，助力中小企业的智能化转型
• ·标签: 文心健康管家 百度健康 Dr.Flow 原子计划
• ·AI分析如何使远程视频监控更加平民化
• ·云计算开发：Python练习实例-将字母输出到新文件C中
• ·莆田版GPT-3开源：同等复现预训练模型GPT Neo
• ·教你使用TensorFlow2判断细胞图像是否感染