roboforum.ru

sosiska, для ориентации платформы в пространстве необходимость в простой камере или камере глубины пока под большушим вопросом. без платформы на первое время можно и обойтись. а когда/если дойдёт до платформы, хорошо подумать, может можно не усложнять. если это не громадное поле, которое сплошняком засеяно, так растишки в основном высаживают грядками и задача перемещения между ними из-за этого сильно упрощается. начиная с варианта передвижения по рельсам. можно реализовать локальное позиционирование на радиомодулях (как минимум dwm1000). распознование визуальных меток, расположеных через определённый интервал или протянуть сплошную ленту. и т.д.
esp32 с камерой наверно не актуален, уж очень у вас далеко идущие планы. начинать вникать можно хоть с простых k210 c одной или двумя камерами. ножками походить, фотографии поделать или видео на карту записывать или по вайфаю передавать (на maxduino есть esp32) на более мощное железо. обучится сеть, опять походить и посмотреть, как распознаёт. как очень бюджетный вариант для попробовать, вполне сойдёт. может перехочется этим заниматься или вообще поймёте, что не тянете (хотя это только часть, ещё же платформа с манипулятором в планах).
можно и сразу помодней железо взять (raspberry, jetson или ноутбук). камера глубины или 1-2 обычных. юсб нейроускоритель он как бы не про обучение (для этого сильно лучше подходит мощный процессор, видеокарта или облако). а для работы обученной сети вполне. что-то сразу на грядках пробовать или опять же записывать или по вайфаю передавать.
для получения иноформации о растениях камера глубины очень полезна - совмещаете данные о глубине с изображением и можете пробовать определять, видит ли какие растения, где у него листики и т.д. если realsense или подобную камеру, так из своих условий исходите. могу только предположить, что должна работа на небольших расстояниях + что бы на улице нормально работала, достатачная детализация была на нужном диапазоне расстояний. естественно что бы существовал нормальный sdk, официальная документация или достаточно статей в сети, примеры кода или проектов + с выбранным железом и операционной системой работало.
нейронку со временем вообще можно попытаться обучить по только по изображению определять глубину. но это потом, скорей всего что бы просто поэксперементировать и не факт, что в нужных условиях хорошо получится.

Насколько я знаю, проще посадить культуру строго в свою лунку, чем изобретать умный робот который сможет ориентироваться по полю и на бабкиной грядке сможет распознать недельную петрушку.
https://habr.com/ru/post/459452/
для многих культур уже давно изобретены способы промышленного выращивания





Добавлено спустя 10 минут 40 секунд:
вот пример с салатом, можно примерно прикинуть каким путём они шли.
https://onlinelibrary.wiley.com/doi/ful ... /rob.21888

ЗЫ
рука манипулятор которую они используют стоит порядка 4,5 миллионов рублей.

Myp писал(а):Насколько я знаю, проще посадить культуру строго в свою лунку, чем изобретать умный робот который сможет ориентироваться по полю и на бабкиной грядке сможет распознать недельную петрушку.

Да, специализированные системы рулят. Но для них есть ограничение. Чем больше однотипной работы, тем их руление лучше. И наоборот, если есть много мелких и разных работ, специализированные системы становятся малоприменимыми.
Насколько я понял топикстартера, вся изюминка должна быть в универсальности робота. Тогда будет достигнута существенная экономия и времени и денег. Универсальность может проявиться как в разных видах обработки одной и той же с/х культуры, так и в выполнении работ с несколькими культурами, а также выполнении различных вспомогательных работ. Ведь относительно небольшой участок вы не будете засаживать одной капустой, если только не специализируетесь на ее продаже.

Пока что ТЗ выглядит довольно всеобъемлющим:

sosiska писал(а): Иметь компьютер с ИИ, который в реальном времени, не спеша катаясь по огромному участку в деревне, строит достаточно детальную 3D карту окружающего пространства, распознает сорняки и полезные растения, и может стричь газон, складывая состриженную мульчу в определенное место на участке, полоть, поливать грядки, собирать урожай малины, клубники круглые сутки в любую погоду.

Надо разбить его на мелкие подзадачи, и начать их последовательную реализацию от простого - к сложному.
Предполагаю, что робот для стрижки газона, полива и сбора клубники - это 3 разных робота.

Scorpio писал(а):Предполагаю, что робот для стрижки газона, полива и сбора клубники - это 3 разных робота.

Это может быть и один робот-садовник (огородник) с разными наборами навесных инструментов, хранящимися в отдельном сарайчике-контейнере.

Сомневаюсь. Робот поливальщик вообще не понятно что. Это который шланг за собой таскает? Сложно реализуемо и не рационально. Газонокосильщик - вполне отработанная конструкция. Его точно проще готового купить. Остается прополка сорняков (задача для приличного НИИ) и сбор красных ягодок. С последним можно поиграться, но тоже сверхсложная задача. Человеку то не легко искать спелые ягоды прикрытые листвой, и аккуратненько их отрывать.
Но сам процесс создания робота обещает быть интересным.

Scorpio писал(а):Сомневаюсь. Робот поливальщик вообще не понятно что. Это который шланг за собой таскает? Сложно реализуемо и не рационально.

Не обязательно шланги таскать. Можно на борту робота установить съемную емкость для воды и оттуда поливать. Такой полив небольшим количеством воды, но с довольно высокой точностью необходим особенно весной, когда только что посажена рассада, которая потребляет небольшое количество воды. Применить дождевальную установку для таких слабеньких растений бывает весьма проблематично.
Если робот сам сможет подъезжать к крану с электроклапаном и заправляться водой, то сможет работать непрерывно.

Scorpio писал(а):Газонокосильщик - вполне отработанная конструкция. Его точно проще готового купить.

Согласен. но тут может оказаться как роботами-пылесосами. Вроде отличная вещь, но даже обычный захудалый пылесос все-таки пылесосит лучше, т.к. к нему приложен человек, который все, что нужно с пола поднимет, в нужные щелочки насадку пылесоса засунет, чтобы получше пропылесосить.

Scorpio писал(а): Остается прополка сорняков (задача для приличного НИИ) и сбор красных ягодок. С последним можно поиграться, но тоже сверхсложная задача. Человеку то не легко искать спелые ягоды прикрытые листвой, и аккуратненько их отрывать.
Но сам процесс создания робота обещает быть интересным.

Время все расставит по своим местам. не будем спешить с выводами. Согласен, процесс интересен, тем более что я в нем участвую (это - отдельный мой проект, пока никак не связанный с данной темой на форуме) в меру моих возможностей.

Myp писал(а):ЗЫ
рука манипулятор которую они используют стоит порядка 4,5 миллионов рублей.

бегло поискал, в проекте вроде как минимум три доктора кембриджа участвовали. затраты по зп даже за один день могут быть легко чуток поболее чем по себестоимости деталек простенького манипулятора. за несколько дней вообще чуть ли не полностью на всего бибобота нашкребсти.



примерно такого для эксперементов с распознованием и уничтожением сорняков, более чем достаточно.

Мужики на картинке ниже намекают что культура должна правильно высаживаться (например в дырявую ленту) чтобы не было вопросов с расположением плодов на поле.


Добавлено спустя 7 минут 48 секунд:

Scorpio писал(а):Надо разбить его на мелкие подзадачи, и начать их последовательную реализацию от простого - к сложному.

Глядя на комбайн ещё пришло в голову.
Неплохо бы посчитать на бумажке, исходя из планового количества плодов для обработки, сколько плодов в секунду должен обрабатывать робот чтобы управится в разумное время?
Как бы не оказалось что манипулятором надо успевать обрабатывать 3 кочана в секунду

Повторяю. Нужно определиться, что обсуждать. Либо рассматриваем огромный робокомбайн для полей до горизонта, либо бытовое оборудование, домашнего, а точнее, дворового робота. Мы же не сравниваем сервер из датацентра с ноутбуком. Хотя и там и там много чего общего.
Мне интереснее универсальный хозяйственный робот, у которого есть заранее предустановленный небольшой набор навыков. Остальные навыки он должен приобрести в ходе адаптации в конкретном хозяйстве на службе хозяину. Отсюда для себя делаю вывод. Нужно процесс разработки разбить на последовательность этапов и подэтапов. Но вначале для всего проекта в целом и для больших этапов четко определить цели и задачи. Т.е. произвести декомпозицию задачи. Т.к. данная тема не моя и я боюсь заспамить ее оффтопом, перейду в какую-нибудь свою тему для написания ТЗ, т.к. вижу задачу чуть шире, чем борьба с сорняками.

Виктор, не бойтесь заспамить. Ни одно ваше слово не будет здесь лишним. Абсолютно не разбираясь в робототехнике, я сунулась на этот форум, неделю назад я не знала совсем ничего, и только догадывалась, что на данный момент имеются недорогие решения, надо только приложить усилия для сборки всего воедино.

Сколько лет этому форуму? За всё это время наверняка имеются отработанные решения по многим вопросам. Кто-то потратил много усилий на машинное зрение, на ориентацию робота в чистом поле, кто-то собаку съел на двигателях. Кто-то далеко продвинулся в нейросетях. Если бы суметь отделить зёрна от плевел... Время - вот самый ценный ресурс. А его так не хватает.. Пашу на двух работах в российской глубинке, не жалуюсь, но есть смешная и горькая одновременно поговорка - работы нет - жить не на что, работа есть - жить некогда. Имея участок 30 соток, когда-то я мечтала засадить всё какими-то культурами, обрабатывать землю и по осени реализовывать урожай, но СОРНЯКИ!!! Эту битву они выигрывают в одну калитку, совершенно не парясь на засуху. Растут себе припеваючи.

Нет цели обогатиться, продавая урожай. Я лучше раздам бесплатно. Просто желание иметь помощника по хозяйству, и навести наконец порядок, а не созерцать заросли бурьяна по углам. С каждым годом силы тают, проводить дни напролет за работой на грядках всё тяжелее - и моя задумка в том числе может облегчить мне жизнь. И еще кому-то, если выйдет удачно и люди захотят повторить.

Большой робот не нужен - я в самом начале писала об этом, нужен именно универсальный, черт с ними с ягодами, хотя-бы сорняки бы поборол для начала.

В любом случае, по совету Мура, я создам отдельные темы, чтобы поглубже копнуть некоторые проблемы. Спасибо всем за помощь, пишите ещё, я очень буду рада.

https://www.cvisionlab.com/cases/agriculture/

Спросите их, сколько стоит различить стебли, листья и ягоды

Британские инженеры научат робота собирать цветную капусту
https://mir24.tv/news/16427128/britanskie-inzhenery-nauchat-robota-sobirat-cvetnuyu-kapustu

sosiska писал(а):СОРНЯКИ!!! Эту битву они выигрывают в одну калитку

это задача не на уничтожение, а на предотвращение.
та жа клубника например, один раз посадить её в плёнку и потом до конца сезона прополка не актуальна.

Собрать робота за миллион или высадить по правильной технологии?

Мульчирование вообще крайне широкая тема.
Притом что интересно, я всё детство провёл убиваясь на грядках с картохой и прочей фигней кверху задом с утра и до вечера.
хотя можно было бы в разы сократить трудозатраты без вложений.
Колорады... руки по локоть жёлтые в соке личинок.
Где была малая механизация?

в эпоху доступности информации нет смысла использовать доисторические методы сельского хозяйства и пытаться преодолевать доисторические проблемы.

Добавлено спустя 14 минут 22 секунды:
вот ещё забавная штукенция https://www.tomsk.ru/news/view/143875-T ... kim-zhukom
очевидно недорогое решение для перемещения по грядкам =)

а вот кое что похожее на изначальный запрос.


ценник штуковины само собой много миллионов

вот ещё интересные агрегаты у которых можно подсмотреть концепцию.
опрыскивают и сажают


там в конце они яблоки собирают клешнёй


а вот там прикольно гроздь помидорок собирается
плюс используют датчик типа realsense, на форуме есть обладатель таких вещей
его можно попросить посканировать те же помидоры, для интересу.


Добавлено спустя 2 часа 3 минуты 46 секунд:
ещё одна адская машина, убивает сорняки быстрыми ударами.


а вот красивая конструкция
выборочно пшикает пестицидом на сорняк чтоб он сдох.


ещё прикольный:


кстати эти роборуки, серые с синими сегментами, походу очень популярны
ну либо это ютуб мне подсовывает однотипные ролики т.к. я гуглил цену.

Добавлено спустя 1 минуту 33 секунды:
Ну и мой фаворит на данный момент:

Myp писал(а):Ну и мой фаворит на данный момент

Начать лучше точно с такого.