roboforum.ru

Всем здрассти!
Давненько я тут не появлялся. Но нужно небольшое обсуждение по следующей теме.
Сортировка/Сбор мусора.
1) Сортировщик устроен примерно так.
По конвейеру едет мусор. Видеокамера(ы) (и другие датчики - магнитные, электромагнитные, спектроанализаторы, пр.) его отсматривают, узнают интересующие фракции (алюминиевые банки, стеклянные бутылки, пластиковые бутылки, прочий пластик, прочий металл, бытовая техника, электроника, пр.) и манипулятор их хватает и раскладывает по коробочкам.
Компоненты:
1.1 видеокамеры - всё понятно
1.2 блок распознавания на основе глубокого обучения - подход понятен, структура нейросети - одна из популярных проверенных архитектур, но требуется обучение на соответствующем наборе изображений - набора пока не нашёл.
1.3 хвататель - манипулятор более-менее подобрать есть из чего. Но его надо научить хватать. Желательно опять самообучаемый на основе нейросетей. Примеров пока не знаю.
Если решить проблемы 1.1 - 1.3, то задача 1) решена.
2) Сборщик мусора - то же, что п.1), но на самоходной тележке, которая свободно катается по территории парка/пляжа/двора.
Компоненты:
2.1 - то же, что п.1)
2.2 - самоходная телега на основе электрических мотор-колёс с бортовым поворотом - всё понятно. Как вариант, можно сделать и сегвееобразный двухколёсный балансировщик - более манёвренный и более нежный с газоном, чем бортовой поворот.
2.2 - система навигации с объездом препятствий и обходом запрещённых мест - пока большой открытый вопрос.

Хотелось бы советов в первую очередь по п.п. 1.2 и 1.3. Как меня будут критиковать примерно догадываюсь , но всё равно почитаю

"...миллион долларов!" (с) др. Зло

P.S. Всегда было интересно, "др. Зло" он ph.d. или как?

Не могу Вам ответить - сказками давно не интересуюсь. Возможно, он был доктор наук.
Я пока продолжу по своей теме.
Итак, меня интересуют в первую очередь два решения:
1.2 - распознавание и классификация мусора
1.3 - самообучение хватанию.
По теме 1.2 поиск по Сети подтвердил мой подход. Например, в работе
http://cs229.stanford.edu/proj2016/report/ThungYang-ClassificationOfTrashForRecyclabilityStatus-report.pdf
парни из Стэнфорда пытались классифицировать с помощью метода SVM и свёрточной сети по подобию AlexNet, только подрезанной (не хватило вычислительных мощей). В итоге с SVM получилось лучше, со свёрточной сетью не справились. Основное подозрение - куцый набор данных для обучения. С чем я соглашусь. Ибо мусор ОЧЕНЬ вариативен на вид и для хорошего обучения нужен набор от миллиона фотографий. Такого в Сети нет (что подтверждается многими искателями). А то, что есть,
тоже куцее (https://github.com/garythung/trashnet/blob/master/data/dataset-resized.zip, ), или ни о чём (но выглядит тошнотворно - https://github.com/spotgarbage/spotgarbage-GINI/tree/master/spotgarbage/ambiguous-annotated-images)
Тем не менее, генеральный подход - именно свёрточные сети. Нужен хороший набор данных, несколько мощных видюх и несколько месяцев обучения 8-0. В общем, что делать понятно, но для энтузиаста-одиночки трудновато...
По теме 1.3 тут бы я от помощи клуба не отказался, т.к. с темой знаком весьма поверхностно. Нужно, чтобы хваталка сама мучилась и пыталась схватить выбранный объект, запоминая правильные движения успешных попыток. Как-то вот так: https://geektimes.ru/post/281170/. Обучение может занять годы.

Непонятно, зачем вы строите наполеоновские планы, понимая, что ресурсов в настоящий момент нужно немерено, а возможностей кот наплакал?
Стартапчик что ли какой хотите замутить?
У меня из окна гора свалки видна. Она заслоняет от северных ветров с Ледовитого океана. Если ее убрать, что станет с климатом?

А чем вас промышленные сортировщики не устраивают?
Нпр

Металы визуально распознать очень тяжело (марку)
То же самое пластики.

Команда чернорабочих пока дешевле на сортировке чем обслуживание сложной системы, разве что реч идет о оччень больших обьемах.

Про механический манипулятор сразу забудьте, смотрите напро на манипулирование воздушным потоком, так напр ягоды/овощи в комбайне сепарируют при помощи того же машинного зрения.

Добавлено спустя 3 минуты 29 секунд:
Пункт 2 - робопылесос. Хватать различать ненужно, все что робот собирает и есть мусор. В местах уборки задача обычно убрать мусор а не долго его собирать по типам. Сортировка может потом идти в выделеных местах.

По тому, что мне интересно. Не всем же всю жизнь механических кукол собирать, называя их "роботами". И вообще, рубрика называется "идеи".

Немножко продвинулся в понимании задачи 1.2.
Поиграл вот такой штукой по определению объектов в кадре: https://pjreddie.com/darknet/yolo/ - понравилось. Пока беру за рабочий вариант. Правда, какой-то стрёмный фреймворк - darknet - и, похоже, развитие его остановилось. Это напрягает
На мусор она, конечно, Ёла не натаскана. Придётся учить. Нужна NVIDIA, возможно не одна, а они нынче дороги (спасибо шахтёрам - сделали выручку nvidia), ну да ладно. Заодно, мож, эфиров поднакопаю
С набором картинок мусора пока идея такая. В интернетах полно картинок мятых пивных банок. Пока можно начать натаскивать на них. Люминь - штука полезная Накачаю несколько тысяч фоток, размечу с помощью какой-нить приблуды. Вот, например, советуют https://github.com/AlexeyAB/Yolo_mark - ещё не пробовал. Если сам устану - поищу помощника.
Несколько тыщ мятых банок - мож и хватит Ёле для обучения? Если не хватит можно поизгаляться над фотками - повертеть, зеркально отобразить, поменять цветопередачу - в итоге набор данных увеличится раз в 10.
Вот, кстати, как Ёлу натаскали находить бутылки: https://jumabek.wordpress.com/2017/03/04/how-to-train-yolov2-on-costum-dataset/

Может проще Google Cloud Vision с готовым API для разработчиков?
Например мгновенно распознает такую картинку:

как "смятая банка" и выдает похожие изображения.
Провел эксперимент:
сфоткал пластиковую бутылку, частично заполненную водой, не очень резко и на смешанном фоне:

Как видно, результат не однозначный и склоняется больше к стеклу, чем к пластику.

Спасибо за совет, попробую. Правда тут решается несколько другая задача. Гугель замечательно делает классификацию, а нужно сделать детектирование и локализацию. То есть не нужно понять что есть на картинке, а нужно сказать - есть ли на ней алюминиевая банка и где конкретно она находится (обвести рамочкой).

Если посмотреть на вкладку JSON, то будут видны координаты рамки, ограничивающей доминирующий объект. Понятно, что гугловский движок решает самую сложную задачу - классификацию объекта. Он постоянно самообучается и совершенствуется. Навести на центр обрезанного изображения универсальный захват - хапалку уже не сложно. Другое дело, что таже банка на конвейере может быть завалена другим мусором, что в разы усложняет задачу. Проще приучить россиян самим сортировать мусор, как уже приучили европейцев.

Добавлено спустя 29 минут 13 секунд:

Да, посматриваю на json. Это всё безусловно здорово, близко, но пока не совсем то, банок в кадре может быть и пять, доминирующим объектом может быть и ржавая труба.

Не готов этим заняться в качестве личного хобби

Если банок 5, то их всяко снимать надо по одной. А при каждом новом взгляде, какая-то из банок будет доминировать. По крайней мере, это уже обученный ИИ, с которым можно бесплатно практиковаться.

Вы телегу впереди лошади ставите Чтобы снимать банки по одной, их надо сначала выявить и локализовать. А если их выявить и локализовать, то и снимать уже ничего не надо, надо просто хватать
А потренировать Ёлку - тоже вполне полезное занятие, пригодится.

Хваталка одна ведь? Значит и локализовывать можно по одной банке. На результаты тренировки ёлки конечно тоже интересно посмотреть.

ммм, возможно мы оразном. ИИ смотрит на кадр и находит на нём 5 банок. На выходе он должен сказать: 5 банок, 5 рамок с координатами углов такими-то. Вот это будет решение задачи 1.2. А сейчас ИИ от Гугла говорит - в кадре бревно с вероятностью 95%. И ничего не говорит, есть ли там банки, сколько и где.

Добавлено спустя 9 минут 9 секунд:
З.Ы. Кстати, Ёлку перенесли на TensorFlow, что обнадёживает:https://habrahabr.ru/company/dataart/blog/350120/