今年稍早发表训练（Training）基准测试分数之后，MLPerf 日前发表推理（Inference）基准测试的第一组得分结果。
与目前有 5 家公司所参加共 63 项 MLPerf 基准测试项目的训练回合相比，有更多公司提交结果。共有 14 个组织 500 多个分数得到验证。包括几家新创公司的数字，然而一些知名的新创公司显然没有参加。
支援可让系统直接对决之严格条件的封闭专区（Closed Division），结果显示效能有 5 个等级差异，并在预估功耗方面跨越 3 个等级。在开放专区（Open Division），厂商提交可使用一系列模型，包括低精准度的实作。
Nvidia 宣称取得封闭专区所有商用元件类别第一名。资料中心类别的其他领导厂商包括 Habana Labs、Google 和英特尔（Intel），而 Nvidia 则在边缘类别与 Intel 及高通（Qualcomm）一较高下。
“Nvidia 是唯一一家拥有量产硅晶、软件、可程式性及人才，同时发表所有类型 MLPerf 基准测试成绩，并赢得几乎所有测试类别的公司，”市场研究公司 Moor Insights and Strategy 分析师 Karl Freund 指出：“GPU 的可程式性为将来的 MLPerf 版本提供了独特的定位……我认为这在在展露了 Nvidia 实力的广度，以及挑战者的利基本质。但随着时间推移，许多竞争对手将逐渐成熟，因此 Nvidia 需要在硬件和软件方面持续创新。”
Nvidia 公布显示测试结果判定的图表，针对商用元件的所有 4 个封闭专区测试情境皆名列第一。
这些情境代表不同的使用案例。例如针对资料中心推理的离线和服务器情境。离线情境表示要对大量照片进行离线相片标记作业，并测量纯资料传输总量。服务器情境表示来自不同使用者的多个请求，在不可预测的时间提交请求，并在固定时间内测量资料传输总量的使用案例。边缘情境包括单一串流与多串流，前者会对像是行动手机 App 的单一影像进行推理计时，后者则会测量多摄影机系统有多少串流影像能同步推论。
参赛公司可提交所选机器学习模型的结果，这些模型在四个情境分别执行图像分类、物件检测和语言转译。
Nvidia 在服务器和离线类别所有 5 个基准测试拿下第一
“从资料中心的结果来看，Nvidia 在服务器和离线类别的所有 5 个基准测试皆拔得头筹，”Nvidia 加速运算产品管理总监 Paresh Kharya 表示：“我们的图灵 GPU 在商用解决方案方面远胜其他公司。”
Kharya 特别强调，亦即 Nvidia 是唯一一家提交资料中心类别所有 5 个基准测试模型结果的公司，而在服务器类别（这是更困难的情境），Nvidia 的效能表现皆高出竞争对手甚多。
资料中心领域最接近 Nvidia 表现的竞争对手是以色列新创公司 Habana Labs，拥有 Goya 推理芯片。
“Habana 是唯一全面投产高效能硅晶的挑战者，有望支援功耗资料的下一版 MLPerf 套件应会有更好表现。”分析师 Karl Freund 表示。
Habana Labs 指出，基准测试分数纯粹基于效能，功耗并非测量标的，不包含实用性（比如考虑某个解决方案是采无风扇冷却还是水冷式设计），也不包含成本。
Habana 并透过开放专区来展现低延迟能力，延迟的限制比封闭专区更严格，并提交多串流情境的结果。
在边缘基准测试，Nvidia 拿下商用解决方案之封闭专区所有四个类别的冠军头衔。高通 Snapdragon 855 系统单芯片与 Intel Xeon CPU 则在单一串流类别紧跟其后，然而高通和 Intel 都没有提交更困难的多串流情境测试结果。
另外 MLPerf 发表许多“预览版”系统（即未正式上市的系统）测试结果，包括专门针对 Intel’s Nervana NNP-I 的阿里巴巴旗下“平头哥”公司“含光”（Hanguang）芯片、以色列新创公司 Halio 的 Hailo-8，以及 Centaur Technologies 的参考设计。与此同时，研发类的主要参赛厂商是一家鲜为人知的韩国新创公司 Furiosa AI。
- Benchmark Scores Reveal Who’s Winning the AI Inference Race
（首图来源：Nvidia）
