Сортировщик собран из 10 000 деталей, а конвейер способен обрабатывать 1 деталь за ~2 секунды.
Создание сортировщика заняло у изобретателя Дэниел Веста почти 2 года. Большую часть этого времени заняло обучение нейросети распознавать детали и складывать их в разные контейнеры. Для этого понадобилось порядка 100 000 изображений кубиков. Также много времени отняла сборка устройства по собственным чертежам.
Сортировка поделена на несколько этапов. После ленты детали попадают в специальный вибрирующий желоб, чтобы не скрепляться с другими и дальше идти по одной. Далее происходит видеосъемка деталей, которую обрабатывает Raspberry Pi и передает данные на другой компьютер. Этот компьютер анализирует видео и сопоставляет его с базой трехмерных изображений деталей, которыми изобретатель «кормил» нейросеть.
Нейросеть делает вывод о том, в какой контейнер из 18 распределить деталь, а далее через систему из нескольких ворот, кубик попадает в свою семью.
Потенциал симбиоза лего и нейросетей поистине впечатляет.