В Новосибирском государственном техническом университете НЭТИ разработали навигатор с ИИ для людей с нарушениями зрения. Приложение на смартфоне анализирует окружающую обстановку через камеру, предупреждает о препятствиях голосом и работает без интернета.
В Новосибирском государственном техническом университете НЭТИ создали навигатор с искусственным интеллектом для помощи незрячим и слабовидящим людям. Разработка межфакультетской команды студентов факультета радиотехники и электроники, а также факультета автоматики и вычислительной техники, представляет собой простое, но эффективное решение — для его работы нужен только смартфон на Android. Пользователю достаточно загрузить приложение, включить камеру и закрепить телефон на груди. Нейросеть анализирует видеопоток, распознает препятствия, определяет расстояние до них и предупреждает пользователя звуковыми сигналами.
Основу системы составляет сверточная нейронная сеть, обученная на размеченных вручную данных. ИИ способен обнаруживать объекты на расстоянии до пяти метров, чтобы не перегружать пользователя информацией, а также быстро реагировать на внезапные препятствия, такие как автомобили или закрывающиеся двери — обработка кадра занимает всего 300 мс.
Главное преимущество разработки — возможность работы без интернета, отсутствие рекламы и платных подписок. В будущем планируется добавить функцию добавления пользовательских объектов для распознавания, что сделает навигацию еще более удобной. Сейчас команда дорабатывает основную версию приложения и надеется выпустить его в течение трех месяцев. Среди возможных будущих функций — построение маршрута по голосовому запросу и поиск объектов по названию.
По словам разработчиков, проект почти завершен. Перед релизом будет проведено тестирование, а после выпуска команда займется оперативным исправлением мелких недочетов, не влияющих на основной функционал.