Ученые из США разрабатывают системы искусственного интеллекта, которые могут анализировать звуки и различать их источники. Такие технологии способны помочь компьютерам воспринимать окружающую среду по звуковым сигналам, а в отдельных задачах — обнаруживать детали, которые человек может пропустить.
Одно из возможных применений — мониторинг дорожной обстановки. Система сможет распознавать визг тормозов и звук столкновения металла, чтобы быстрее определять место аварии. В промышленности анализ звука может помочь заметить признаки неисправности оборудования. Например, алгоритм способен выявить изменения в работе бура, который прокладывает скважину в твердой породе, и предупредить о возможной поломке.
В основе исследований лежит машинное обучение. Вместо того чтобы вручную задавать компьютеру все правила распознавания звуков, ученые обучают модели самостоятельно находить закономерности в аудиоданных. Это позволяет работать со сложными звуковыми сценами, где одновременно слышны несколько источников.
Отдельное направление — разделение звуковой смеси на составляющие. Подобные методы применяли при обработке архивных записей для документального сериала The Beatles: Get Back. Команда помогала очищать аудиоматериалы, в которых музыка и голоса накладывались друг на друга. За работу над звуковым монтажом сериала команда получила премию «Эмми» в 2022 году.
Сейчас исследовательская группа также изучает, как сделать компьютеры полезнее для музыкантов. Например, алгоритмы могут анализировать исполнение и давать обратную связь, помогая совершенствовать музыку, а не заменять человека. Другое направление — создание более гибких методов обработки аудио, которые не зависят от некоторых традиционных ограничений цифровой обработки сигнала.
Ученые также исследуют применение больших языковых моделей для распознавания речи и улучшения качества звука. Отмечается, что возможности ИИ в работе со звуком еще не раскрыты полностью. Одна из задач исследователей — научить машины не просто распознавать заранее известные сигналы, а лучше понимать сложную звуковую среду.
Читайте также: Arctic Fox создала мышь с сенсорным экраном, голосовым вводом и управлением жестами