roboforum.ru

Добрый день!
Разрабатываем серию роботов для сельского хозяйства. Проект запущен пол года назад в Тульской области. Есть первые успехи. Уже готова многофункциональная платформа. Но есть сложности с машинным зрением (ориентация в пространстве, распознавание образов). Бюджет проекта ограничен, но возможен вариант с удалённой консультацией за разумные деньги. После выхода на самоокупаемость проект будет набирать дополнительный штат сотрудников, скорее всего, с этого форума. Просьба откликнуться всем, кто неравнодушен к желанию снизить вредное воздействие ядохомикатов в сельском хозяйстве на экологию и здоровье человека и появлению на полках магазинов овощей с настоящим, а не пластмассовым вкусом.

Вопросы такие:
1. Какие существуют алгоритмы для определения расстояния до предмета? Какие из них самые точные. Какие самые быстрые?

2. Какими способами и как можно определить положение объекта в мировых координатах (расстояние до камеры), зная его расположение на снимке?

3. Какой алгоритм лучше применить для ориентации трактора в рядах сельскохозяйственных культур?

4. Книги, ресурсы интернета с полезной информацией по теме?

Заранее спасибо!

Sergey_Mok писал(а):1. Какие существуют алгоритмы для определения расстояния до предмета? Какие из них самые точные. Какие самые быстрые?

Алгоритмы или технические решения? Лидары самые быстрые и точные. При желании можно и по одной по камере обеспечить +/- приемлемую точность определения. все сильно зависит от того что вы можете себе позволить и что сможет работать в ваших условиях.

2. Какими способами и как можно определить положение объекта в мировых координатах (расстояние до камеры), зная его расположение на снимке?

хм, что такое мировые координаты? способов много, объектов тоже. нужно видеть снимок, иначе слишком много вариантов.

3. Какой алгоритм лучше применить для ориентации трактора в рядах сельскохозяйственных культур?

Если у вас уже есть платформа, то этот вопрос уже должен быть решен. ну или копайте в сторону rtk + mag + imu/ardurover

metric, спасибо за участие. Немного уточню.

Сейчас наша основная задача научить робота(трактор) самостоятельно двигаться в рядах(грядках) сельхоз культур, не наезжая на сами растения, т.е. он должен корректировать направление своего движения при обнаружении на своем пути растения. Объезжать его.
На данном этапе решили использовать технологию компьютерного зрения методом стерео пары при помощи библиотеки OpenCV. Уже закупили камеры и оборудование для их подключения.

Если у вас уже есть платформа, то этот вопрос уже должен быть решен. ну или копайте в сторону rtk + mag + imu/ardurover

У нас есть платформа управляемая вручную с мобильного телефона. Теперь хотим сделать что бы робот передвигался самостоятельно.
От rtk отказались из-за того что многие районы нашей страны не охвачены Rtk сетью. И из-за стоимости.

хм, что такое мировые координаты? способов много, объектов тоже. нужно видеть снимок, иначе слишком много вариантов.

Под "мировыми координатами" понимаю координаты объекта в метрах относительно какой-то точки. В нашем случае это расстояния до растения по трем осям(x, y, z) относительно камеры установленной на роботе.
Если кто имел дело с библиотекой OpenCV прошу описать алгоритм нахождения этих координат или кинуть ссылки где об этом можно почитать. В интернете информация есть но по кускам, связать которые воедино не получается. Камеры откалибровал, определить растение на видео снимке тоже не проблема, но не могу построить карту глубины для нахождения расстояния. Пробовал так http://docs.opencv.org/trunk/dd/d53/tut ... thmap.html не получается.

с/х понятие растяжимое. для больших полей, в относительно небольших закрытых теплицах или на мелких огородиках в несколько соток, решение может очень сильно отличаться.
если для полей, так зачем себе проблем на заднюю точку ищите? тем более ограничено бюджет и врямя, а для конкурентного решения нужно не переборщить со стоимостью продукции для потребителя. хз, может наверно какие нишевые сценарии есть, когда можно и без беспилотника обойтись, но в общем без беспилотника эта вся затея с автоматизацией с/х выглядит очень печально - кроме первоначального картографирования нужно постоянно производить сбор данных о состоянии поля/посевов и иногда ещё всякие опрыскивания делают. из сценария выкидывается всякие гуляющие по полю коровки, бегающие собачки, непонятно что забывшие люди, ненужные навороты по определению статичных объёктов, которые нужно объезжать и т.д. - если захочется, то в следующих версиях за дополнительные деньги, а сразу реализовывать это сильно затянит время разработки и повысит стоимость. в вузах и лабораториях крупных контор на пруф оф концепт особо не смотрите, там же сходу только на оборудование могут легко 100-300 тыс $ выделяться и как минимум за годик-другой вполне устраивает результат "идея в общем сойдёт, пока трахтер слегка не по прямой ездит, местами то сильно опрыскивает, то почти не обработтанная почва и т.д., но для первых стадий сойдёт" и до стадии подготовки к производству ещё ползти и ползти.
беспилотник нужен хотя бы для картографирования, как самого поля, так и получения информации о положении объёктов на поле (какие столбы, большие камни, какие постройки,... всякое бывает), так и при необходимости ещё карту каких близких объектов (прилегающая дорога, постройки этого фермерского хозяйства,...). получится базовая карта, для начала хотя бы двумерная. площадь и границы обрабатываемых участков. сколько нужно воды, удобрений, топлива/заряда аккумуляторов,... прокладка маршрута, сколько времени на что нужно и т.д.
из датчиков основное это модуль получения координат, ик камера (не помню, какой именно диапазон инфракрасного... в общем поищите в какой части спектра хорошо заметно состояние растительности. хотя скорей всего нужно будет и ближний и дальний. дальний как минимум для тепловой карты использовать можно) и обычная камера с видимым спектром. не важно, по отдельности или одной мультиспектральной камерой. ещё всякие люксметры, датчики давления и прочее, но это всё пока ненужные мелкие детали. у gps/glonass точность недостаточная, по этому нужна локальная система (нужна как беспилотнику, так и ездящим по полю платформам), допустим радиолокация с помощью маяков или rtk. rtk наверно более предпочтительна, т.к. самопал с маяками может (но не обязательно) быть сложнее интегрировать с другими системами. rtk очень популярно и те же мультиспектральные камеры и автопилоты иногда делаются сразу с возможностью интеграции с rtk.
поля далеко не всегла это ровная плоскость, по этому сразу или на потом нужно о карте высот думать (радиолокация, стереокамеры, лидары, локальная система позиционирования,... вариантов много как сделать). высоты всяких построек лесом - проекции на плоскость вполне достаточно что бы объезжать.
будет локальная система позиционирования, простенький недорогой вариант инерциальной системы (как и для летающего беспилотника) и карта, так платформе, ездящей по полю вообще не обязательно иметь систему машинного зрения для определения где нужно столб какой объехать или каменюку громадную. такое максимум потом, может быть, в следующих версия. объехать растение, не раздавить колосок,... что-то очень сильно подсказывает, что это сильно ненужные усложнения системы для больших полей. если точно высадили и растения сильно в разные стороны всякими своими частями не растут, нет сильного разброса в размерах,... значит можно использовать допуски. на поле громадное кол-во растений и если мизерную часть и зацепит, ну чтож поделать. понятное дело, что жто для полей в общем и в каких-то случаях нужно будет более сложный вариант, с системой компьютерного зрения и прочими наворотами, но имхо это глупо. более простая разработка требует меньше времени, иногда на столько значительно, что к моменту завершения разоритесь или конкуренты нишу займут, т.е. вам надо будет к этому моменту сделать лучше/дешевле/рекламировать и продвигать активней. во-вторых влажные фантазии в самом начале, могут (вообще это даже скорее норма) сильно пострадать во время разработки, обкатки и будет печально потратить кучу сил и средств, а потом понять, что сильно не то вышло. можно попытаться прикинуть, сколько будет тех, кому хватит и более простой системы и тех, кто будет готов купить только более навороченную "аааа, караул, я тут на стебелёчик наехал". так что лучше хорошо задуматься, начинать создавать более простое и потом постепенно усовершенствовать или сразу рискнуть делать дольше и сложнее.

Sergey_Mok писал(а):Сейчас наша основная задача научить робота(трактор) самостоятельно двигаться в рядах(грядках) сельхоз культур, не наезжая на сами растения, т.е. он должен корректировать направление своего движения при обнаружении на своем пути растения. Объезжать его.

те определение самого растения у вас уже готово? для каждого этапа роста нейронки посчитаны? или сорняки и культуру пока не отличаетии просто на зелень не едем?

Sergey_Mok писал(а):На данном этапе решили использовать технологию компьютерного зрения методом стерео пары при помощи библиотеки OpenCV. Уже закупили камеры и оборудование для их подключения.

стерео очень капризно в реальной работе и требует кучу ресурсов для расчетов карт глубины. вибрация, пыль, осадки все будет против вас и как минимум придется постоянно калибровать камеры. Точность на стерео паре низкая, на уровне это дальше чем вот это, и расчетов будет много и энергоемкости никакой не хватит. расстояние между камерами для разных условий опять же разное, поэтому я бы не связывался с чистым стерео. комбинированные методы с лидаром, slam и его производные дают больше инофрмации.

У нас есть платформа управляемая вручную с мобильного телефона. Теперь хотим сделать что бы робот передвигался самостоятельно.

те тележка у вас ездит, но как именно вы не в курсе? выбрасываете оттуда мозги и ставите pixhawk с ardurover и будет вам автономная навигация по mavlink, там же jetson для видео-расчетов и пр.

От rtk отказались из-за того что многие районы нашей страны не охвачены Rtk сетью. И из-за стоимости.

сети rtk нет, а то что геодезисты предлагают по подписке немного не совсем rtk.
ставите свою базу, передатчик поправок и через 10 минут у вас покрытие на расстояние до 10 км от базы с точностью до 2.5см. по стоимости это уже давно не тысячи за модуль, и придумывать велосипед тут никакой необходимости нет. больше времени и ресурсов потратите.

В интернете информация есть но по кускам, связать которые воедино не получается. Камеры откалибровал, определить растение на видео снимке тоже не проблема, но не могу построить карту глубины для нахождения расстояния.

по официальному гайду все боле-менее получалось, но стерео сложно в настройке, от этого и проблемы скорее всего.

PS: похоже что вы в самом начале пути. удачи.

комьютерное зрение с стереокамерами это забавно. ещё по инерциальным датчикам более-менее ровно ездить не может, а уже за такие сложные задачи хвататься удумали. в точном земледелии нужна локальная система позиционирования. кроме всего прочего она пригодится и для сброса ощибок инерциальной системы. про не усложнять иногда трудно сразу доходит, но всё же на первое время лучше отказаться от обработки полей с плотной посадкой растений (злаковые и т.д.). будет более-менее ровно ехать, используя данные с локальной системы позиционирования и инерциальной системы, при необходимости можно будет пробовать добавить корректирующий канал - одна камера и как-то так

metric писал(а):те определение самого растения у вас уже готово? для каждого этапа роста нейронки посчитаны? или сорняки и культуру пока не отличаетии просто на зелень не едем?

Пока определяем просто по цвету. Сорняки и культуру не отличаем.

metric писал(а):те тележка у вас ездит, но как именно вы не в курсе? выбрасываете оттуда мозги и ставите pixhawk с ardurover и будет вам автономная навигация по mavlink, там же jetson для видео-расчетов и пр.

В курсе. Тележка управляется по bluetooth с мобильного телефона. ПО мозгов и мобильное приложение полностью разработано нами.

metric писал(а):сети rtk нет, а то что геодезисты предлагают по подписке немного не совсем rtk.
ставите свою базу, передатчик поправок и через 10 минут у вас покрытие на расстояние до 10 км от базы с точностью до 2.5см. по стоимости это уже давно не тысячи за модуль, и придумывать велосипед тут никакой необходимости нет. больше времени и ресурсов потратите.

Можно подробней про стоимость RTK? Я не находил в интернете приемники RTK дешевле 250 т.р. А комплект с базой вовсе 700 т.р.

metric писал(а):PS: похоже что вы в самом начале пути. удачи.

Спасибо.

хорошо и бюджетно это делать самому, но будет возня с свч, вычислениями и алгоритмами. а на данный момент что бы более-менее нормальные комплексы меньше нескольких тысяч стоили, это сомнительно. не, можете у каких инвалидов купить простенькое на подобии https://emlid.com/, может вам в связке с оптическим каналом и хватит. а инерциалки зря игнорируете - это первое, чем стоит пичкать бибобота. даже в этих простеньких reach (neo-m8t конечно хорош, но в данном случае за +- такой же ценник можно было взять современный двухдиапазонный модуль с хорошей чувствительностью) стоит не менее простенький mpu9250 (вместо более малошумящего варианта датчиков решили несколько баксов сэкономить). от "чуть получше датчики", "неортогональная бинс" и "термостатирование" у тамошнего хфинансового куркуляйтера инфаркт случится.

Sergey_Mok писал(а):Тележка управляется по bluetooth с мобильного телефона. ПО мозгов и мобильное приложение полностью разработано нами.

... выбор блютуса для дальнобойного управления крайне сомнителен, но на первое время ок. тем не менее, вы же не будете дальше управлять вручную, те на тележке стоит/будет свой комп с обработкой. и что бы это все ездило поставте полетник типа pixhawk, подробнее тут http://ardupilot.org/dev/docs/companion-computers.html

Можно подробней про стоимость RTK? Я не находил в интернете приемники RTK дешевле 250 т.р. А комплект с базой вовсе 700 т.р.

отписал в личку. меньше $600 за комплект

metric писал(а):отписал в личку. меньше $600 за комплект

а можно для общего образования озвучить прям тут?

не валом, но бюджетные есть. даже у ублокса https://www.u-blox.com/en/product/c94-m8p, http://www.calvert.ch/maurice/2017/08/28/ublox-c94-m8p-rtk-gps-review-performance-evaluation/. если хочешь поэксперементировать, не обязательно наборы брать. и модули есть не только у ублокса http://www.navspark.com.tw/.

Спасибо за ссылки. Очень заинтересовала тема RTK. Не знал про существование таких бюджетных версий. Пока будем копать в этом направлении.

... выбор блютуса для дальнобойного управления крайне сомнителен, но на первое время ок. тем не менее, вы же не будете дальше управлять вручную, те на тележке стоит/будет свой комп с обработкой. и что бы это все ездило поставте полетник типа pixhawk, подробнее тут http://ardupilot.org/dev/docs/companion-computers.html

Возможность ручного управления планируем сохранить, но конечно перейдем на wi-fi. Расстояние действия BT очень маленькое.

у обычного WiFi для маштаба полей тоже слабенько. Плюс учитывайте что обычно через большинство полей идут ЛЕП.

Aseris писал(а):у обычного WiFi для маштаба полей тоже слабенько. Плюс учитывайте что обычно через большинство полей идут ЛЕП.

Использовали в работах Wifi от Ubiquiti серии bullet, отличная дальнобойность. Не все WiFi одинаково бесполезны.