roboforum.ru

Технический форум по робототехнике.

Сортировщик/сборщик мусора

Сортировщик/сборщик мусора

Vladimat » 07 янв 2018, 01:24

Всем здрассти!
Давненько я тут не появлялся. Но нужно небольшое обсуждение по следующей теме.
Сортировка/Сбор мусора.
1) Сортировщик устроен примерно так.
По конвейеру едет мусор. Видеокамера(ы) (и другие датчики - магнитные, электромагнитные, спектроанализаторы, пр.) его отсматривают, узнают интересующие фракции (алюминиевые банки, стеклянные бутылки, пластиковые бутылки, прочий пластик, прочий металл, бытовая техника, электроника, пр.) и манипулятор их хватает и раскладывает по коробочкам.
Компоненты:
1.1 видеокамеры - всё понятно
1.2 блок распознавания на основе глубокого обучения - подход понятен, структура нейросети - одна из популярных проверенных архитектур, но требуется обучение на соответствующем наборе изображений - набора пока не нашёл.
1.3 хвататель - манипулятор более-менее подобрать есть из чего. Но его надо научить хватать. Желательно опять самообучаемый на основе нейросетей. Примеров пока не знаю.
Если решить проблемы 1.1 - 1.3, то задача 1) решена.
2) Сборщик мусора - то же, что п.1), но на самоходной тележке, которая свободно катается по территории парка/пляжа/двора.
Компоненты:
2.1 - то же, что п.1)
2.2 - самоходная телега на основе электрических мотор-колёс с бортовым поворотом - всё понятно. Как вариант, можно сделать и сегвееобразный двухколёсный балансировщик - более манёвренный и более нежный с газоном, чем бортовой поворот.
2.2 - система навигации с объездом препятствий и обходом запрещённых мест - пока большой открытый вопрос.

Хотелось бы советов в первую очередь по п.п. 1.2 и 1.3. Как меня будут критиковать примерно догадываюсь :-), но всё равно почитаю :-)

Re: Сортировщик/сборщик мусора

esisl » 07 янв 2018, 17:21

"...миллион долларов!" (с) др. Зло

P.S. Всегда было интересно, "др. Зло" он ph.d. или как?

Re: Сортировщик/сборщик мусора

Vladimat » 08 янв 2018, 23:07

esisl писал(а):"...миллион долларов!" (с) др. Зло

P.S. Всегда было интересно, "др. Зло" он ph.d. или как?

Не могу Вам ответить - сказками давно не интересуюсь. Возможно, он был доктор наук.
Я пока продолжу по своей теме.
Итак, меня интересуют в первую очередь два решения:
1.2 - распознавание и классификация мусора
1.3 - самообучение хватанию.
По теме 1.2 поиск по Сети подтвердил мой подход. Например, в работе
http://cs229.stanford.edu/proj2016/report/ThungYang-ClassificationOfTrashForRecyclabilityStatus-report.pdf
парни из Стэнфорда пытались классифицировать с помощью метода SVM и свёрточной сети по подобию AlexNet, только подрезанной (не хватило вычислительных мощей). В итоге с SVM получилось лучше, со свёрточной сетью не справились. Основное подозрение - куцый набор данных для обучения. С чем я соглашусь. Ибо мусор ОЧЕНЬ вариативен на вид и для хорошего обучения нужен набор от миллиона фотографий. Такого в Сети нет :-( (что подтверждается многими искателями). А то, что есть,
тоже куцее (https://github.com/garythung/trashnet/blob/master/data/dataset-resized.zip, ), или ни о чём (но выглядит тошнотворно - https://github.com/spotgarbage/spotgarbage-GINI/tree/master/spotgarbage/ambiguous-annotated-images)
Тем не менее, генеральный подход - именно свёрточные сети. Нужен хороший набор данных, несколько мощных видюх и несколько месяцев обучения 8-0. В общем, что делать понятно, но для энтузиаста-одиночки трудновато...
По теме 1.3 тут бы я от помощи клуба не отказался, т.к. с темой знаком весьма поверхностно. Нужно, чтобы хваталка сама мучилась и пыталась схватить выбранный объект, запоминая правильные движения успешных попыток. Как-то вот так: https://geektimes.ru/post/281170/. Обучение может занять годы. :-(

Re: Сортировщик/сборщик мусора

Виктор Казаринов » 09 янв 2018, 02:17

Непонятно, зачем вы строите наполеоновские планы, понимая, что ресурсов в настоящий момент нужно немерено, а возможностей кот наплакал?
Стартапчик что ли какой хотите замутить?
У меня из окна гора свалки видна. Она заслоняет от северных ветров с Ледовитого океана. Если ее убрать, что станет с климатом?

Re: Сортировщик/сборщик мусора

Aseris » 09 янв 2018, 14:42

А чем вас промышленные сортировщики не устраивают?
Нпр

Металы визуально распознать очень тяжело (марку)
То же самое пластики.

Команда чернорабочих пока дешевле на сортировке чем обслуживание сложной системы, разве что реч идет о оччень больших обьемах.

Про механический манипулятор сразу забудьте, смотрите напро на манипулирование воздушным потоком, так напр ягоды/овощи в комбайне сепарируют при помощи того же машинного зрения.

Добавлено спустя 3 минуты 29 секунд:
Пункт 2 - робопылесос. Хватать различать ненужно, все что робот собирает и есть мусор. В местах уборки задача обычно убрать мусор а не долго его собирать по типам. Сортировка может потом идти в выделеных местах.

Re: Сортировщик/сборщик мусора

Vladimat » 10 янв 2018, 10:50

Виктор Казаринов писал(а):Непонятно, зачем вы строите наполеоновские планы, понимая, что ресурсов в настоящий момент нужно немерено, а возможностей кот наплакал?
Стартапчик что ли какой хотите замутить?

По тому, что мне интересно. Не всем же всю жизнь механических кукол собирать, называя их "роботами". И вообще, рубрика называется "идеи".

Re: Сортировщик/сборщик мусора

Vladimat » 28 фев 2018, 15:27

Vladimat писал(а):1.2 блок распознавания на основе глубокого обучения - подход понятен, структура нейросети - одна из популярных проверенных архитектур, но требуется обучение на соответствующем наборе изображений - набора пока не нашёл.

Немножко продвинулся в понимании задачи 1.2.
Поиграл вот такой штукой по определению объектов в кадре: https://pjreddie.com/darknet/yolo/ - понравилось. Пока беру за рабочий вариант. Правда, какой-то стрёмный фреймворк - darknet - и, похоже, развитие его остановилось. Это напрягает :-(
На мусор она, конечно, Ёла не натаскана. Придётся учить. Нужна NVIDIA, возможно не одна, а они нынче дороги (спасибо шахтёрам - сделали выручку nvidia), ну да ладно. Заодно, мож, эфиров поднакопаю :-)
С набором картинок мусора пока идея такая. В интернетах полно картинок мятых пивных банок. Пока можно начать натаскивать на них. Люминь - штука полезная :-) Накачаю несколько тысяч фоток, размечу с помощью какой-нить приблуды. Вот, например, советуют https://github.com/AlexeyAB/Yolo_mark - ещё не пробовал. Если сам устану - поищу помощника.
Несколько тыщ мятых банок - мож и хватит Ёле для обучения? Если не хватит можно поизгаляться над фотками - повертеть, зеркально отобразить, поменять цветопередачу - в итоге набор данных увеличится раз в 10.
Вот, кстати, как Ёлу натаскали находить бутылки: https://jumabek.wordpress.com/2017/03/04/how-to-train-yolov2-on-costum-dataset/

Re: Сортировщик/сборщик мусора

Scorpio » 28 фев 2018, 18:45

Может проще Google Cloud Vision с готовым API для разработчиков?
Например мгновенно распознает такую картинку:
pivo.jpg
pivo.jpg (3.46 КиБ) Просмотров: 3597

как "смятая банка" и выдает похожие изображения.
Провел эксперимент:
сфоткал пластиковую бутылку, частично заполненную водой, не очень резко и на смешанном фоне:
test1.jpg

Как видно, результат не однозначный и склоняется больше к стеклу, чем к пластику.

Re: Сортировщик/сборщик мусора

Vladimat » 28 фев 2018, 19:32

Scorpio писал(а):Может проще Google Cloud Vision с готовым API для разработчиков?

Спасибо за совет, попробую. Правда тут решается несколько другая задача. Гугель замечательно делает классификацию, а нужно сделать детектирование и локализацию. То есть не нужно понять что есть на картинке, а нужно сказать - есть ли на ней алюминиевая банка и где конкретно она находится (обвести рамочкой).

Re: Сортировщик/сборщик мусора

Scorpio » 28 фев 2018, 20:32

Если посмотреть на вкладку JSON, то будут видны координаты рамки, ограничивающей доминирующий объект. Понятно, что гугловский движок решает самую сложную задачу - классификацию объекта. Он постоянно самообучается и совершенствуется. Навести на центр обрезанного изображения универсальный захват - хапалку уже не сложно. Другое дело, что таже банка на конвейере может быть завалена другим мусором, что в разы усложняет задачу. Проще приучить россиян самим сортировать мусор, как уже приучили европейцев.

Добавлено спустя 29 минут 13 секунд:
sortirovka.png
Вариант сортировки без манипулятора

Re: Сортировщик/сборщик мусора

Vladimat » 28 фев 2018, 20:45

Scorpio писал(а):Если посмотреть на вкладку JSON, то будут видны координаты рамки, ограничивающей доминирующий объект.

Да, посматриваю на json. Это всё безусловно здорово, близко, но пока не совсем то, банок в кадре может быть и пять, доминирующим объектом может быть и ржавая труба.
Scorpio писал(а):Проще приучить россиян самим сортировать мусор

Не готов этим заняться в качестве личного хобби

Re: Сортировщик/сборщик мусора

Scorpio » 28 фев 2018, 21:16

Vladimat писал(а): банок в кадре может быть и пять

Если банок 5, то их всяко снимать надо по одной. А при каждом новом взгляде, какая-то из банок будет доминировать. По крайней мере, это уже обученный ИИ, с которым можно бесплатно практиковаться.

Re: Сортировщик/сборщик мусора

Vladimat » 28 фев 2018, 22:46

Scorpio писал(а):
Vladimat писал(а): банок в кадре может быть и пять

Если банок 5, то их всяко снимать надо по одной. А при каждом новом взгляде, какая-то из банок будет доминировать. По крайней мере, это уже обученный ИИ, с которым можно бесплатно практиковаться.

Вы телегу впереди лошади ставите :-) Чтобы снимать банки по одной, их надо сначала выявить и локализовать. А если их выявить и локализовать, то и снимать уже ничего не надо, надо просто хватать :-)
А потренировать Ёлку - тоже вполне полезное занятие, пригодится. :-)

Re: Сортировщик/сборщик мусора

Scorpio » 28 фев 2018, 23:25

Хваталка одна ведь? Значит и локализовывать можно по одной банке. На результаты тренировки ёлки конечно тоже интересно посмотреть.

Re: Сортировщик/сборщик мусора

Vladimat » 28 фев 2018, 23:57

ммм, возможно мы оразном. ИИ смотрит на кадр и находит на нём 5 банок. На выходе он должен сказать: 5 банок, 5 рамок с координатами углов такими-то. Вот это будет решение задачи 1.2. А сейчас ИИ от Гугла говорит - в кадре бревно с вероятностью 95%. И ничего не говорит, есть ли там банки, сколько и где.

Добавлено спустя 9 минут 9 секунд:
З.Ы. Кстати, Ёлку перенесли на TensorFlow, что обнадёживает:https://habrahabr.ru/company/dataart/blog/350120/


cron
Rambler\'s Top100 Mail.ru counter