Microsoft подала заявку на патент технологии, которая позволит менять речь человека прямо во время видеотрансляции. Искусственный интеллект сможет убирать слова-паразиты, исправлять оговорки и переводить разговор на другой язык. При этом система будет не только заменять аудио, но и корректировать изображение губ говорящего, чтобы движения рта соответствовали новой речи.
Согласно патентной заявке, технология анализирует звуковую дорожку и выбирает слова для замены на основе пользовательского профиля. Например, зритель сможет настроить фильтрацию междометий, сленга, ненормативной лексики или неразборчивой речи. Генеративная модель подставит новые слова, изменит соответствующие фрагменты аудио и видео, а затем сгладит переходы между ними.
Отдельный сценарий предусматривает синхронный перевод. Если человек говорит на языке, который не указан в профиле пользователя, система сможет заменить его речь переводом и перерисовать движения губ. По описанию Microsoft, обработка будет занимать от одной до десяти секунд. Технологию предполагается использовать на смартфонах, планшетах, видеокамерах и AR-очках.
В заявке также упоминается возможность подбирать замену словам с помощью интернет-поиска и добавлять проверку фактов. Подобная обработка затрагивает не только звук, но и то, что зритель видит на экране: система фактически сможет изменить содержание высказывания человека.
Читайте также:
ИИ на спутнике Google сочинил стихотворение и отправил его на Землю