公开250项AI学习成果,新增推荐与后续学习效果评估

区块链文库报道:

MLCommons 发布 MLPerf Training v6.1 测试结果

MLCommons(机器学习通用标准组织)近日公开了 MLPerf Training v6.1 的 250 项测试结果。此次测试涵盖了 153 个系统,并新增了推荐系统训练及面向软件开发的大语言模型后训练作为新的评估项目。

测试概况与云端占比提升

据韩国时间 17 日凌晨 1 点发布的公告显示,共有 24 家机构参与了本次测试。在参与的全部系统中,有 57 个(占比 37%)基于云端架构运行。这一比例较上一版本(v6.0)的 29% 有所上升。本次结果不仅包含了大规模加速器系统的记录,还纳入了新训练任务的相关数据。

MLPerf Training 的核心指标是测量系统在给定模型和数据下,达到目标质量所需的时间。由于每次测试的模型、数据和目标质量标准均有所不同,因此不能简单地将 250 项结果直接排序为单一的性能排名。

评测规范与分类机制

基准测试规范区分了“封闭组”(Closed division)和“开放组”(Open division),并根据系统是否可购买或租赁进行分类。MLCommons 指出,训练时间存在波动,非图像类基准测试的波动幅度约为 ±5%。各测试项目的具体比较条件均在 MLPerf Training 指南中进行了说明。

新增测试项目详解

推荐系统测试:

DLRMv4-HSTU 取代了原有的 DLRM-dcnv2 基准测试。该测试采用 HSTU 结构处理用户行为历史序列,以衡量推荐模型的训练时间。DLRMv4 的说明文档中详细介绍了所使用的数据结构和测试配置。

此测试使用 Yambda-5B 数据集,该数据集包含音乐服务的使用记录,内含约 47.9 亿条交互记录。

后训练测试:

新的后训练测试旨在测量将 Qwen3.5-397B-A17B 模型训练用于执行软件开发任务所需的时间。该模型在隔离的执行环境中尝试完成任务,并基于结果进行进一步的学习。根据后训练基准说明,其目标质量为“0.69 pass @ 4”。

该测试采用 GRPO(Group Relative Policy Optimization,组相对策略优化)方法,通过比较多次尝试的相对奖励来更新模型。这与评估代理在实际服务中所有工作质量的测试范围有所不同。

硬件创新与企业表现

此前,MLCommons 曾发布过关于推理阶段吞吐量和响应时间的报告,而本次 v6.1 版本重点测量的是达到训练目标所花费的时间。

在本次提交的系统中,有 12 个系统使用了超过 1000 个加速器。最大的系统投入了 12,400 个加速器。值得注意的是,英伟达(NVIDIA)的 Rubin 系列 GPU 以及谷歌 TPUv7 Ironwood 首次出现在 MLPerf Training 的结果中。

  • 谷歌云(Google Cloud):在其独立声明中指出,使用 8,192 个 Ironwood TPU 完成 DeepSeek-V3 预训练任务的目标质量仅耗时 1.70 分钟;在使用 640 个 Ironwood TPU 进行的 Qwen 后训练测试中,耗时为 18.02 分钟。需注意的是,这两项记录的任务类型和加速器数量并不相同。
  • AMD:在提交公司的补充材料中表示,使用 8 个 MI350X 和 MI355X 进行的 Llama 训练性能,相比 v6.0 版本平均提升了 19%。
  • 英伟达:表示在相同数量的 GPU 条件下, Vera Rubin NVL72 在某些测试中的速度比 GB300 NVL72 快最多两倍。

上述数据均为各家企业在各自提交结果中强调的内容。MLCommons 明确声明,补充材料中的企业解释并不代表协会的观点。官方结果仪表盘提供了按模型、提交机构、加速器数量及系统配置分类的记录,因此在查看结果时,必须确保在同一训练任务和系统条件下进行比较。

© 版权声明
THE END
喜欢就支持一下吧
分享