Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

Nvidia сообщила, что дополнительно увеличила ИИ-производительность своих видеокарт GeForce RTX и платформ RTX AI PC с выпуском последнего драйвера версии GeForce Game Ready 555.85 WHQL. В ходе конференции Microsoft Build компания Nvidia анонсировала ряд новых оптимизаций производительности для алгоритмов искусственного интеллекта, которые теперь доступны в рамках экосистемы RTX, включая графические процессоры GeForce RTX, рабочие станции и ПК.

Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

Nvidia отмечает, что последние оптимизации нацелены на ускорение работы ряда больших языковых моделей (LLM) использующихся генеративным ИИ. Новый драйвер Nvidia версии 555 обеспечивает видеокартам GeForce RTX и платформам RTX AI PC трёхкратный прирост ИИ-производительности при работе с фреймворками ONNX Runtime (ORT) и DirectML. Оба инструмента используются для запуска ИИ-моделей в среде операционной системы Windows.

Кроме того, новый драйвер увеличил производительность программного интерфейса WebNN для DirectML, который используется веб-разработчиками для размещения новых ИИ-моделей. Nvidia сообщает, что сотрудничает с Microsoft над дальнейшим повышением производительности графических процессоров RTX и добавлением поддержки DirectML в PyTorch. Ниже приведен полный список возможностей, которые предлагаются свежим драйвером Nvidia R555 для графических процессоров GeForce RTX и ПК с RTX:

  • поддержка метакоманды DQ-GEMM для обработки квантования INT4 только по весу для LLM;
  • новые методы нормализации RMSNorm для моделей Llama 2, Llama 3, Mistral и Phi-3;
  • механизмы группового и многозапросного внимания, а также внимания скользящего окна для поддержки Mistral;
  • обновления KV для улучшения внимания;
  • поддержка GEMM-тензоров, не кратных 8, для улучшения производительности контекстной фазы.

Nvidia втрое ускорила работу ИИ на видеокартах GeForce RTX

В тестах производительности ORT, генеративного расширения искусственного интеллекта, выпущенного Microsoft, новый драйвер Nvidia приводит к приросту производительности по всем направлениям, как для типов данных INT4, так и для FP16. Благодаря методам оптимизации, добавленным в это обновление, производительность больших языковых моделей Phi-3, Llama 3, Gemma и Mistral увеличивается до трёх раз.

Nvidia также напоминает, что преимущество экосистемы RTX заключается в использовании возможностей воспроизводительных тензорных ядер. На их основе работают DLSS Super Resolution, Nvidia Ace, RTX Remix, Omniverse, Broadcast, RTX Video и другие технологии. Кроме того, для использования тензорных ядер в ускорении работы ИИ компания предлагает комплекты разработчиков TensorRT, Maxine и RTX Video.

В своём пресс-релизе Nvidia сообщает, что её GPU обеспечивают ИИ-производительность до 1300 TOPS (триллионов операций в секунду), что гораздо выше возможностей любых других конкурентных решений.

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *