Sony подала патентную заявку на систему с искусственным интеллектом, которая дорисовывает следующий кадр игры, пока видеокарта ещё занята его рендером. Компания рассчитывает избавить игроков от подтормаживаний.
Современные технологии генерации кадров работают иначе: они ждут два готовых кадра и вставляют между ними промежуточный. Из-за ожидания второго кадра реакция игры на нажатия запаздывает. Решение Sony смотрит на последний уже отрисованный кадр, и по нему строит прогноз того, что игрок увидит дальше. Если видеокарта не успевает выдать новый кадр вовремя, на экран выводится предсказанный, и вместо рывка картинка остаётся плавной.
Чтобы прогноз был точнее, нейросеть может учитывать ещё два источника данных:
- векторы движения – они показывают, куда смещаются объекты в сцене;
- последние нажатия на геймпаде – по ним видны последние действия игрока.
Обучать модель предлагают на последовательных кадрах видео: нейросеть угадывает следующий кадр, сверяет его с настоящим и исправляется, поэтому размечать данные вручную не нужно. Sony не приводит ни замеров задержки, ни оценок качества картинки, так что эффективность метода пока не доказана. Будет ли система использоваться в PlayStation или играх студий Sony, компания не сообщала.
