Энтузиасты выложили на GitHub проекты, которые почти вдвое ускоряют часть матричных вычислений на видеокартах GeForce RTX 20, RTX 30 и RTX 40. Прирост касается задач ИИ – на игры модификации не влияют.
Речь об операциях, где матрицы в формате FP16 или BF16 перемножаются в FP32 – именно они чаще всего используются при генерации изображений и работе нейросетей. На игровых GeForce NVIDIA искусственно выполняет такие инструкции в половинном темпе, тогда как профессиональные карты на тех же чипах работают на полной скорости. Модификации меняют внутренние настройки скорости ещё до загрузки драйвера, при старте системы.
Для архитектуры Ampere проект GPU Unlock сделал пользователь Zagitta, для Ada Lovelace – JustAResearcher, а версию для Turing пока проверили только на одной RTX 2080 Ti от ASUS. Владелец RTX 3090 Ti ускорил генерацию изображений в ComfyUI примерно на 56-60%, а в языковых моделях этап обработки длинного запроса стал быстрее на 14-36% в зависимости от настроек.
Все проекты пока экспериментальные и ориентированы в первую очередь на Linux. Версия для Windows работает лишь на отдельных конфигурациях. Стоит помнить, что такие проекты вмешиваются в работу видеокарты на низком уровне и запускаются при старте системы: использование неофициального кода может лишить гарантии, а загружать его стоит только из проверенного источника.
