Сорвать яблоко с ветки — что может быть легче для автоматизации? На заводах роботы годами выполняют куда более сложные движения. Однако стоит перенести такую машину из цеха в сад, и вместо быстрого и качественного сбора вы получите мятые плоды и сломанные ветки. Почему так происходит? Рассказали в честь Яблочного спаса в этой статье.
Для начала яблоко нужно найти
Человек замечает яблоко на дереве без особых усилий, даже если часть плода скрыта листьями. Роботу приходится отдельно определять объект на изображении, вычислять его положение в пространстве и понимать, можно ли вообще до него добраться.
Для этого используют RGB-камеры, датчики глубины и алгоритмы компьютерного зрения. В более новых экспериментальных системах появляются и модели машинного обучения, например, робот, представленный исследователями USDA и Michigan State University в 2026 году, использует связку Grounding DINO и EfficientViT-SAM для поиска и локализации яблок в саду.
Проблема в том, что сад постоянно мешает машине смотреть. Листья закрывают часть плода, ветви пересекают контур, а одно яблоко оказывается за другим. Кроме того, на видимость влияют прямое солнце, тени и изменение освещения в течение дня.
Разработчики даже исследуют системы, которые сначала физически освобождают роботу обзор. В работе исследователей Университета Монпелье и Monash University робот определяет, какая ветка закрывает фрукт, а затем отодвигает ее манипулятором. Только после этого плод становится доступнее для камеры.
В итоге задача «увидеть яблоко» начинает состоять из нескольких действий. Нужно найти видимую часть плода, восстановить его положение, определить помеху, убрать ее и снова проверить сцену.
Увидеть мало, нужно еще добраться
Допустим, координаты яблока известны. Теперь манипулятору необходимо провести захват через крону так, чтобы не столкнуться с ветками, соседними плодами и элементами шпалеры. Здесь появляется еще одно отличие от промышленных задач — окружение меняется во время самого движения.
Манипулятор может слегка задеть ветку, та качнется вместе с яблоком, и координаты, рассчитанные камерой секунду назад, уже окажутся неверными.
Авторы двурукого сборщика яблок перечисляют целый набор причин неудачных попыток. Листья могут оказаться между плодом и присоской, ветки мешают подходу, а яблоко иногда смещается раньше, чем захват успевает закрепиться. Получается, что за простой операцией скрывается сразу несколько задач:
- распознать яблоко среди листьев и веток;
- определить его координаты и положение;
- понять, доступен ли плод для манипулятора;
- построить траекторию между препятствиями;
- правильно приложить захват;
- отделить яблоко от ветки;
- вынести его из кроны и не уронить по пути.
И каждая ошибка на одном этапе может обнулить всю предыдущую работу.
Яблоко нельзя схватить посильнее
С промышленной деталью проблему ненадежного захвата иногда можно решить простым увеличением усилия. С фруктами такой подход закончится партией яблок с вмятинами, поэтому разработчики используют мягкие конструкции и вакуумные захваты. Например, команда Washington State University разработала мягкий захват с силиконовыми пальцами. Во время испытаний в саду он смог успешно захватить более 87,5% яблок, причем исследователи не обнаружили повреждений плодов после сбора.
Другой подход строится вокруг присоски — она прижимается к поверхности яблока, после чего создается разрежение. Такое решение позволяет обойтись без сильного механического сжатия, но требует хорошего контакта с поверхностью. Один попавший между присоской и кожицей лист уже способен сорвать попытку.
Есть и другая проблема — роботу нужно понимать, что происходит с яблоком непосредственно во время отделения от дерева. В этот момент камера помогает не всегда, ведь плод закрыт захватом, а небольшое проскальзывание сложно заметить визуально. По этой причине разработчики начинают давать роботу аналог осязания.
В исследовании «Анализ выбора датчика для сбора фруктов с помощью всасывающих захватов» в вакуумный захват встроили несколько типов датчиков, а алгоритмы машинного обучения использовали их показания для определения успешного сбора и возможного срыва захвата. Классификаторы определяли успешную попытку и приближающуюся неудачу с точностью более 90%.
По сути, робот постепенно получает тот же набор сигналов, которыми человек пользуется почти бессознательно. Мы не только видим яблоко, но и чувствуем сопротивление плодоножки, изменение нагрузки на пальцы и момент, когда плод отделился.
Быстро сорвать тоже недостаточно
Даже робот, который научился стабильно снимать яблоки с дерева, еще не обязательно будет полезен хозяйству. Теперь важно, сколько плодов он сможет собрать за смену и сколько людей действительно заменит.
В новых прототипах скорость постепенно растет. Модульная двухрукая система, испытанная в двух коммерческих садах в 2025 году, выполнила 1738 циклов. Успешными оказались 80% попыток, а среднее время одного цикла на манипулятор составило 7,53 секунды. Причем даже эти цифры нельзя напрямую сравнивать с идеальным лабораторным тестом — в реальном саду робот теряет время на поиск плодов, движение между препятствиями и повторные попытки.
Один из способов ускорить сбор — добавить вторую руку. В проектах Министерства сельского хозяйства США двухрукая схема позволила повысить эффективность уборки на 9–34% по сравнению с вариантом с одним манипулятором. Но две руки создают новые проблемы, ведь их траектории необходимо согласовывать, чтобы манипуляторы не столкнулись между собой, не полезли одновременно к одному плоду и правильно делили общие ресурсы системы.
Роботу приходится менять даже сам сад
Однако не каждый яблоневый сад вообще подходит для автоматического сборщика. Роботу гораздо проще работать с относительно плоской и хорошо организованной кроной, где яблоки остаются видимыми. В старых или плотных садах ему работать сложнее.
Эта проблема настолько актуальна, что исследователи создают отдельные среды для обучения и тестирования роботов. Например, OrchardBench моделирует не только расположение яблок, но и подвижные листья, гибкие ветки, разную плотность кроны и возможность повреждения дерева. Однако исследователи отмечают, что реальный сад доступен для полноценных испытаний только ограниченную часть года, а ошибка робота может повредить урожай или дерево.
Получается, чтобы робот лучше собирал яблоки, приходится совершенствовать не только компьютерное зрение и механику, но и постепенно адаптировать под автоматизацию устройство самого сада.
Пока человек все еще универсальнее
История с яблоками иллюстрирует, почему роботизация физического мира идет медленнее, чем может показаться по тиктокам с демонстрациями. Для того чтобы сорвать плод, нужно одновременно увидеть его среди листьев, правильно оценить расстояние, выбрать путь между ветками, подобрать усилие, почувствовать момент отделения и не повредить урожай. Человек объединяет все эти действия в одно привычное движение руки. Роботу каждое из них приходится превращать в отдельную задачу, а затем учиться выполнять их одновременно. В связи с этим собрать яблоко с дерева для машины пока сложнее, чем кажется.