NVIDIA стала абсолютным лидером по результатам бенчмарка MLPerf Inference v1.0

Инженерный консорциум MLCommons опубликовал результаты ежегодного набора тестов для оценки производительности систем инференса, известного как бенчмарк MLPerf Inference v1.0. MLPerf является признанным бенчмарком для измерения производительности искусственного интеллекта при решении тех или иных задач, начиная с обработки естественного языка, распознавания речи, рекомендательных систем и заканчивая компьютерным зрением и медицинском визуализацией.

В последнем раунде заявки были поданы 17 организациями. По итогам тестирования было опубликовано 1994 результата по производительности для систем машинного обучения в категориях серверов центров обработки данных и периферийных устройств.

Бенчмарк MLPerf Inference v1.0 включает в себя новые инструменты тестирования, методы и показатели, а также дополнительные тесты определения производительности. Новые показатели дают возможность сравнивать различные показатели (производительность, энергопотребление, потребляемую мощность систем) и составлять отчеты.

Разработкой бенчмарка MLPerf Inference v1.0 занимался консорциум MLCommons совместно с ведущим поставщиком стандартизированных тестов и инструментов для оценки производительности компанией Standard Performance Evaluation Corp.

По результатам проведенных тестов, единственной компанией, которая смогла представить результаты всех тестов в категориях центров обработки данных и периферийных систем, стала NVIDIA. Компания не только самостоятельно представила результаты, но и ее партнеры, в числе которых такие крупнейшие компании, как Alibaba, DellEMC, Fujitsu, Gigabyte, HPE, Inspur, Lenovo и Supermicro, которые продемонстрировали более 360 результатов на базе графических ускорителей NVIDIA.

Представители компании объявили о том, что платформа инференса ИИ, которую совсем недавно оснастили графическими процессорами NVIDIA A30 и A10, продемонстрировала впечатляющие результаты производительности по всем категориям. Добиться рекордной производительности удалось за счет более широких возможностей ИИ-экосистемы NVIDIA, кот рая включает широкий спектр аппаратной составляющей и программного обеспечения ИИ, в том числе Triton Inference Server и TensorRT.

Стоит отметить, что компания также овала возможности технологии Multi-Instance GPU, которую поддерживает архитектура NVIDIA Ampere. С этой целью было запущено 7 тестов MLPerf Offline на одном графическом процессоре с использованием семи инстансов MIG. Результаты оказались впечатляющими - производительность составила 98%, как и при использовании одного инстанса MIG.

Источник: servernews