Патентная заявка Sony Interactive Entertainment описывает нейросеть, которая анализирует уже отрисованный кадр и на его основе создает изображение, которое, по прогнозу алгоритма, должно появиться следующим. При необходимости система также учитывает недавние действия игрока с контроллером и векторы движения объектов на экране. Это помогает оценить, как может измениться сцена в ближайший момент.
Разница с некоторыми существующими методами генерации кадров заключается в том, что им нужны два готовых изображения, чтобы создать промежуточное. Ожидание второго кадра может увеличить задержку между действиями игрока и реакцией игры. В предложенной Sony схеме ИИ начинает прогнозировать следующий кадр, используя уже доступное изображение, и может передать результат на экран до завершения обычного рендеринга.
В основе системы лежит связка из двух нейросетевых компонентов — кодировщика и декодера. Первый преобразует изображение в компактное числовое представление, а второй использует его для создания прогнозируемого кадра. Во время обучения модель сравнивает свои предсказания с реальными кадрами и корректирует параметры, чтобы уменьшать ошибки.
В патенте также описан вариант без нейросети: он перемещает группы пикселей с учетом их движения в кадре. Это еще один способ создавать дополнительные изображения между моментами обычного рендеринга.
Пока технология существует на уровне патентной заявки. В документе нет результатов испытаний, которые показывали бы, насколько точно ИИ предсказывает движение, как сильно он снижает задержку и сохраняет ли качество изображения. Поэтому неизвестно, когда и в каком виде подобная система может появиться в игровых устройствах Sony.