roboforum.ru

Здравствуйте, уважаемые пользователи! У меня возникла проблема:

Есть робот, конструктивно способный ездить по лестницам, но делает он это пока только с помощью оператора. Хотелось бы, что-бы это происходило автоматически, отсюда вытекает задача обнаружения лестницы. Для этого было решено использовать камеру и библиотеку OpenCV.

Вот мой вариант алгоритма:
1)Получаем кадр с камеры робота.
2)Накладываем на кадр свертку я ядром Щара(Тем самым выделяем горизонтальные линии и избавляемся от вертикальных)
3)Далее, используя преобразования Хафа, находим линии
4)Используя нейронную сеть, по расположению линий находим лестницу

Однако на практике все оказалось не так гладко, дело в том, что, во первых, видео перед передачей по каналу конвертируется, и иногда приходят размытые кадры, из-за чего линии теряются.Во вторых робот гусеничный и в камере виден протектор гусеницы, а это тоже горизонтальные линии которые при преобразовании Хафа становятся очень похожими на лестницу, прошедшую через тот же алгоритм.

Возможно кто-то уже сталкивался с подобными задачами. Подскажите какими альтернативными методами можно это реализовать? Или как избавится от описанных выше проблем, не меняя конструкцию робота?

Гусеницы что попадают в камеру можно программно вырезать - зарисовать белым например, или не анализировать их область.
Но с полосатыми обоями при таком примитиве проблемы будут

Размытые убрать - методом понижения разрешения, и увеличения контрастности изображения, либо выкидывать размытый кадр, либо принимать решение по серии кадров мажоритарным методом

А как на счет пары УЗ дальномеров? Или одного, с наведением по вертикали? Если снизу на 20 см ближе чем сверху, значить ступенька пошла?

Гусеницы вырезать не могу, положение камеры может изменятся, следовательно и положение гусениц в кадре будет разным.


Пара УЗ дальномеров это уже изменение конструкции робота, а в моем случае просто нет такой возможности.

а кто такой "Щара"?
зачем вам нейронки в данном случае?
п.с. в природе для растровых изображений алгоритмы векторизации есть.

Тогда распознавайте гусеницы по цвету, или у вас они под цвет лестници?

Можно банально камерой на них не смотреть..., как я понимаю робот не выше 2-х метров... так что посмотреть вверх не, и пройтись по алгоритму "ты ли лестница?" не проблема

Плюс ширина гусениц и лестници разная а найти длину линии это по моему задача банальная.

Да и с другой стороны где гусеницы на кадре вычислить элементарно, ведь мы знаем положение камеры, там углы всякие расстояния, запихиваем эти данные в таблицу либо в нейросеть, либо в полином, и знаем какую часть кадра игнорировать

Решений море

...Или это какая то игрушка с веб камерой ?

дануна. как буд-то камера сама по себе колбасится, а тушка робота сама по себе. есть информация о положении камеры и куда она в данный момент направлена, немного школьной гео/стереометрии и намана.