roboforum.ru

Доброго времени суток всем! Недавно начала интересоваться этой темой. Если честно, самой мне морочиться не сильно хочется, и я бы купила готовый аппаратик. Но те, что я видела - слишком громоздки, невероятно дороги и малофункциональны. Отсыпала бы 200к рублей... Понимаю, понимаю, сильно не смейтесь. С паяльником дружу, и как-нибудь с помощью этого форума могла бы наверное, за годик собрать четырехколесного робота и нахлобучить ему на башню манипулятор. Весить он должен не больше 150 кг. Иметь на борту камазовский аккумулятор, облеплен солнечными батареями для подзарядки. Иметь компьютер с ИИ, который в реальном времени, не спеша катаясь по огромному участку в деревне, строит достаточно детальную 3D карту окружающего пространства, распознает сорняки и полезные растения, и может стричь газон, складывая состриженную мульчу в определенное место на участке, полоть, поливать грядки, собирать урожай малины, клубники круглые сутки в любую погоду.

Rippa, Dino, Oz.. Как-то всё не то. Размечталась, скажете. Нууу.. Да!

Но если пока что в моем мозгу кое-как упорядочивается понимание, что нужны двигателя, 3д принтер для элементов робота, нужно разобраться в Robot Operating System, дальше уже совсем никакого понимания, какие камеры, или лидары использовать для детализации окружающего пространства, каким образом позиционировать захват клешни манипулятора в пространстве, какое ПО нужно для обработки поступающего изображения, сколько надо ОЗУ, насколько мощная нужна видеокарта для этих целей и процессор... Пока что это всё для меня тёмный лес.

Я никуда не спешу, могу посвятить всему этому несколько лет, но нужна помощь в ориентации - куда копать, какую литературу почитать, может быть, кому-то встречалось где-то что-то подобное, может быть, не аграрной направленности, но схожее... Помогите, пожалуйста, уважаемые роботостроители!

Тут сразу пачка фундаментальных проблем которые не так чтобы легко решаемы.
1. навигация и построение карты с достаточной точностью
2. распознавание сорняков по видео
3. 3д сканирование в хорошем разрешении чтобы получать расположение стебля сорняка
4. манипулятор.

Можно начать с того что разбить обсуждение на отдельные темы и там уже предметно спрашивать.

_________________
<telepathmode>На вопросы отвечает Бригадир Телепатов!</telepathmode>
Всё уже придумано до нас!

автомобильные аккумуляторы (делятся на стартерные и тяговые) могут оказаться не самым лучшим выбором. кроме автомобильных ещё много всяких разных и времени на изучение и выбор у вас ещё предостаточно.
не обязательно, но очень даже может быть, что самой большой ошибкой будет сразу пытаться сделать большое шасси. пока будете делать и узнавать много нового, представления о том что, как и из чего лучше сделать может очень сильно поменяться и не один раз. для начала имхо лучше сделать небольшую платформору (про манипулятор, солнечные панели и прочее - хвататься сразу за всё, идея не очень), не вкидывая в это много денег. они вам ещё очень понадобятся - мультиспектральная камера, 3д-камера, нейроускоритель и прочие электронные полезняшки сумарно легко и быстро могут на очень приличную сумму затянуть.
начинать работать с нейросетями и строить карту можно вообще без шасси.

Ездить по рельсам вдоль грядок!

Классная фотка! Насчет габаритов - нужна универсальность, таскать воду например, к тому же, думаю, ни одна распберри пай не справится с таким потоком данных и вычислительной нагрузкой. Где-то попадалось, что Nvidia специально выпустили какую-то видеокарту и набор инструментов к ней, где Cuda очень даже неплохо обрабатывают на лету видео высокой четкости и отличают зрелые персики от незрелых, или это были апельсинки, не помню.
Одновременно выполнять довольно сложные задачи - просчет карты местности, просчет движений манипулятора, просчет картинки - я могу ошибаться, но мне кажется, нехилый такой комп нужен, и он потянет 50% затрат. Да, камазовский аккумулятор - имелось в виду - очень ёмкий.

Да, возможно, задачи все таки не одновременно... Повертел башкой - сориентировался (клешня пока бездействует и распознавать ничего не надо), затем встал на позицию - пошло распознавание сорняков. Затем включается позиционирование захвата и чик чик срезал макушку у сорняка и положил в кузовок. Потом отвёз куда сказали.

Несколько дней ломаю голову над ориентацией в пространстве. Насколько детальной должна быть карта? ОООчень сложный вопрос. Понятно, что 3d. Но смешно стрелять из пушки по воробьям, и вполне может получиться, что хватит инфракрасной стереокамеры. Лидары, ToF, реалсенсы и кинекты - я запуталась. Что-то используется в автомобилях и такая дальнобойность наверное для меня будет излишней, да и лазером по глазам постоянно получать что-то не сильно хочется. ToF подошла бы наверное для размещения прямо над клешней, в непосредственной близости различать стебли и центр сорняка или искать ягоды в зарослях, и для позиционирования самой клешни.

Насчет распознавания - люди упражняются в Ubuntu и вроде бы дело не особо хитрое - тензор флоу в голову приходит...

Пока для меня ориентация на местности - самое сложное и непонятное. Для распознавания листа растения - изображение нарочно упрощается, делается монохромным, и выглядит, словно карандашный рисунок - экономятся ресурсы вычисления. Может, плохенького изображения елок, заборов, сараев, леса на холмах метрах в 300 от участка, и других ориентиров будет достаточно? Пусть не особо качественно, чисто для грубой настройки. А более тонкую настройку ориентации делать уже в привязке к объектам - обозначить на карте вручную - здесь грядка, здесь канава с водой, здесь куча мусора. подъедь к грядке. распознай её края. действуй внутри грядки дергай сорняки. отъедь. поедь за водой. ну и так далее.

пока вы до универсальности допилите, раз надцать ожидание и реальность может всё сильно поменять. а так дело ваше, у некоторых и с первого раза более-менее получается примерно задуманное.
разбери элементарно частично распознование потянет. не сама конечно (пока что - в армы нейроускорители уже начали пихать, чуть позже этого будет валом начиная с очень хилых микроконтроллеров, датчиков и прочего), но как хост для тензорного ускорителя (coral от гугла, neural computer stick от интела) малина вполне успешно и часто используется. у энвидиа с ускорителем есть небольшая платка jetson nano. да много чего есть, тем более сразу вникать в нейросети и обкатывать прям на тележке совершенно не обязательно. кроме нейроускорителя к расбэри можно подключать интеловские realsense камеры.
пытаться сразу на платформе обкатывать нейросеть, обработку данных с 3д-камеры и прочего (для растишек мультиспектральные камеры много полезной информации дают), затея не очень - обучение штука затратная и лучше делать на не самом хилом десктопном процессоре (или в облаке, бесплатно немного обучить много у кого можно) и/или энвидивской видеокарте.

https://youtu.be/ZX3rPrq6x5g

Что то типа такого хочется, но более универсальный.

да, что-то небольшое на подобии этого. только имхо лучше не сразу всё на платформу пытаться впихнуть (манипуляторы,...) и не сразу на ней всё обучать/обкатывать все алгоритмы.

это пока вы видосики "всё легко и просто" на ютубчике смотрите и обучающие статьи на каком pyimagesearch читаете. вау, скопипастил, всё так просто и чудно. шаг влево, шаг вправо и с околонулевыми знания представление о простоте легко улетучиваются.

Angel71, ага... Вроде с виду просто... Надо с чего то начать... Попробовать поиграться с нейросетями.

с openvc скорей всего понадобится немного научиться работать. тензорфлоу не единственное что есть для нейросетей. то, что для обученя в видео и статьях описывают не всегда хорошо подходит (а иногда совсем не подходит) для практического использования. датасеты очень злобный момент - для нужной задачи легко может оказаться, что в паблике нет совершенно ничего. датасет это далеко не пара размеченных фотографий.
это только немного с нейросетями, а такого ещё прилично. вот имхо и не стоит за всё хвататься и сразу на платформе пытаться сделать. вникнуть в нейросети, поработать с камерой глубины или ещё что, вполне можно начать без платформы. фотографии и если нужно видео, можно и без платформы наснимать. камеру глубины сначала хоть в руках/на столе опробовать, потом хоть на маленьком шасси (совсем маленьком, по ширине/длине хоть с книгу) по комнате погонять. управлять простенькой тестовой платформой по беспроводному каналу и обратно получать фото/видео для обработки, тоже никто не запрещает. манипулятор по началу и на столе/возле стола замечательно себя чуствует. и т.д.
когда хоть немного понимание появится, какое железо, сколько потребляет (момент с аккумуляторами и прочим),... тогда уже и пытаться пробовать собрать эти кусочки пазла в единую систему, начинать прорабатывать и собирать платформу. у людей по разному бывает, но не редкость, что долго мучаясь получается не очень или по многу раз всё переделывают (время и/или деньги). что не получается по какому направлению или вообще по всем, тоже бывает (даже на сильно более простых проектах).

Насколько я понял, то, что на видео, ничего толком не работает. Хотя задача там простая. Нужно с помощью объемных сенсоров определить грубую форму растений и придать им сферическую или подобную форму. И еще - отрезать ножницами стебли роз. Но почему-то вокруг люди ходят и помогают роботу с запутавшейся фрезой и особенно при отрезке стеблей роз (ручками секатором режут стебли). Это напоминает ЧПУ станки и роботы-манипуляторы 12-й пятилетки, которые я на студенческой практике в 1981 г. обслуживал: пять минут работы, час настройки.
Посмотрите, какой год на дворе. Прошло 40 лет и почти ничего не изменилось.

Начать лучшк с маленькой грядки на столе и маленького робота, для отработки технического зрения.

Огромное спасибо всем за ответы, Мур все правильно сказал - несколько фундаментальных труднорешаемых задач. Само по себе распознавание растений - не самая сложная из 4-х, построение руки-манипулятора - за год можно состряпать как-то, уверена - вы поможете советами.

Две задачи, ответа на которые у меня пока нет - оптика для навигации - справится ли нечто вроде Realsense, или похожее, какая-то камера глубины, в пределах 20 т.р. или без 3d лидара за 100 т.р. оно ездить и ориентироваться эффективно не сможет... Роботов многие делали, наверняка делали ориентацию в пространстве, в глубине души я надеюсь, кто-то скажет - 20 т.р. вполне достаточно не уехать за пределы огорода и не переехать спящего в кустах малины соседа-алкаша

Справится ли такое зрение - это ведь не квадрокоптер и не автомобиль - скорость перемещения мала, так что по идее - супер-пупер зрение для кругозора не особо и нужно. Совсем даже нечеткое зрение 1080р наверняка позволит роботу сориентироваться - вот это вот прямо по курсу - забор, а правее - сарай. Другое дело - 3d сканирование ближнего радиуса - клешня опускается - на ней стереокамера(как на фотке в начале темы) - здесь нужно высокое разрешение, именно вблизи, уже упоминали - нужно отыскать стебель сорняка, определив розетку листьев и центр розетки, к примеру.

Вторая задача, на которую хотелось бы узнать ответ - насколько подобный робот может стать "умным". Он ведь физически не сможет таскать на борту суперкомпьютер, не в этой пятилетке уж точно. Насколько тяжеловесна в плане выполнения нейросеть распознавания, сколько всё это сожрёт вычислительных мощностей? или плачевный тот робот с запутавшейся фрезой и да, как он розу срезал - без слёз смотреть невозможно - это всё предел мечтаний? Прав Виктор Казаринов, это убожество. Но маленький смартфон на лету определяет лица людей - у него что - технологии космических пришельцев?

Нейроускорители доступны простым смертным? За вменяемые деньги а не 100000$? А так ли они нужны? Я же не криптовалютой занимаюсь и не моделированием сферического коня в вакууме? Может, достаточно какой нибудь хорошей видеокарточки в пределах 50 т.р.? В общем, пока вопросов очень много.

Добавлено спустя 26 минут 11 секунд:


Простите меня, Angel71, пока 50 раз не прочитала - не вьехала. Ну тупая, скрывать не стану.

Если малина справится - то я в шоке. В хорошем смысле. Если нейроускоритель не дороже 20 т.р. - я уже прыгаю от радости.

А так - мне не жалко впихнуть ему под капот двухпроцессорную серверную материнку и два E5 2678, и 128 ddr4 серверной, и чтоб оно на ходу самообучалось. (Дайте кто нибудь губозакаточную машинку)

Со страницы 56 этой диссертации идет коммерческая часть. В диссертации всего 110 страниц. Что это такое? Большинство изображений в диссертации грубо говоря, стырено из интернета, большую часть текста я уже читал в чужих трудах. И это - диссертация? В советское время я смеялся над диссертациями на тему пропедевтики образования. И сейчас не лучше. Да даже я, совковый студент в российкой глубинке в 1983 году делал дипломный проект на тему универсального объемного зрения роботов. Это я не для самопиара. А сейчас? Посмотрите, на фрагмент датасета диссертации. Там на голой земле ищут растения. Задача предельно искусственная. Да где вы в огороде голую землю увидите? Травища. Даже если ее нет, то сами растения так переплетаются, что не сразу определишь, что к чему относится.

Удивляюсь я на всеобщую святую веру в бесконечную силу ИНС (искусственных нейросетей). По сути дела ИНС - это математическая абстракция матричных числовых преобразований. А термин нейросетей тут притянут за уши. Это становится тем более очевидным, когда чудесным волшебным образом разработанную 150 слойную сеть начинают обучать миллионами образцов. Ну где вы видели, чтобы человек или собака миллионы раз обучались? Им сотни жизней не хватит. Вывод отсюда очевиден. ИНС нужны, полезны. Но только в строго ограниченных областях, например, при первичном сенсорном анализе входного потока. На более глубоких стадиях работы робомозга ИНС становятся неэффективными.

Можно копнуть еще глубже. В стародавние времена искусственный интеллект раскололся на два направления:
- на статистический, ярким представителем которого стали ИНС;
- на логический, ядром которого стала строгая логика.
Однако жизнь, она не черная и не белая. Она полосатая или даже серая. Так и здесь. Ученые и инженеры стали применять гибридные решения, основанные на сочетании ИНС и логики. Это стало давать определенные плоды.
Есть еще один путь - это создание чего-то такого, что объединяет в себе лучшие черты двух, казалось бы диаметрально противоположных путей: ИНС и логического ИИ. Таким путем иду я. Системе на этих принципах достаточно всего одного акта восприятия для того, чтобы она смогла впоследствии все лучше и лучше распознавать.
И не будем забывать, что восприятие - это только малая из вершин айсберга, который должен лежать в основе разумного автономного робота, осуществляющего полезную хозяйственную деятельность.

Никого не удивляет тот факт, что иногда старые подслеповатые люди выполняют работу лучше, чем молодые остроглазые парни? Это потому, что мало смотреть, нужно ВИДЕТЬ. А в процессе видения участвует весь мозг включая абстрактное мышление и ранее полученный опыт. Поэтому мне как-то грустно становится, когда все сосредотачиваются только на первичном восприятии.

PS: Мне весьма понравился копеечный, порядка $5 китайский чип K210 с 400 мГц двухядерным 64-битным RISСV процессором со встроенным аппаратным нейропроцессором. В него я много чего смог имплементировать на платке Sipeed MAiX BOARD (Sipeed M1w dock suit), цена которой повыше из-за разных полезных плюшек.

PPS K210 в реалтайме распознает цветы: