Устройство на основе искусственного интеллекта поможет слабовидящим ориентироваться в пространстве, распознавать предметы и тексты. Прототип разрабатывают ученые Новосибирского госуниверситета и МНТК «Микрохирургия глаза».
Базовая модель автономного интеллектуального помощника для слабовидящих и незрячих пациентов была представлена заместителю председателя правительства РФ Дмитрию Григоренко во время его визита в Новосибирский государственный университет.
Устройство разрабатывается с использованием больших языковых моделей и технологий искусственного интеллекта. Инициатором проекта выступил Новосибирский филиал МНТК «Микрохирургия глаза» им. академика С.Н. Федорова, который совместно с Центром ИИ НГУ создает решение для помощи людям с нарушениями зрения в ориентации в пространстве.
Как пояснил директор филиала МНТК, профессор Валерий Черных, существующие методы реабилитации либо требуют значительных финансовых затрат, либо связаны с высокотехнологичными, но рискованными операциями, такими как вживление чипов в сетчатку или мозг. Эти методы пока не дают стабильных результатов. В отличие от них, новый помощник использует ИИ для описания окружающего пространства, распознавания текстов и предупреждения о препятствиях.
Сейчас разрабатывается прототип устройства, который будет включать одноплатный компьютер, видеокамеру (например, GoPro) и наушники. Вес системы составит около 1 кг. Пользователь сможет направлять камеру в нужную сторону и получать голосовые описания. В будущем планируется добавить функцию ответов на уточняющие вопросы и различные режимы работы, например, для передвижения или чтения текстов.
«Мы используем большие языковые модели, чтобы помочь данной категории пациентов в анализе окружающего пространства — создать им проводника, который мог бы дать концентрированное словесное описание всех объектов, находящихся перед пользователем. Принцип работы данной системы прост: «видеть» вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем текстовое описание преобразуется голосовым помощником и подается через наушники непосредственно пациенту ».
Алексей Окунев, руководитель проекта в Центре ИИ НГУ
Однако до готового продукта еще далеко: предстоит длительная доработка технической части, обучение ИИ и адаптация системы под нужды пользователей. Также потребуется создание реабилитационного центра для обучения незрячих работе с устройством. Прототип ожидается к концу 2025 года, но на полную реализацию проекта может уйти несколько лет.