roboforum.ru

Давеча взялся за реализацию SLAM. Нагуглил массу информации по этому вопросу. Как совершенно верно писал Nesenin, заморочки есть, и попыхтеть придется, но, как говорит моя мамочка - "головой нужно не только кушать", иногда еще и думать. Вот подумал я и решил, что все же самостоятельно справиться с реализацией SLAM вполне возможно, но сложно.
И так, начну с того, что нужно получить карту глубины сцены от сенсора KINECT, это уже имеется. Далее два варианта:
1. нужно вытащить из этой карты все точки глубины и должным образом их обработать;
2. используя OpenCV искать на карте глубины, по градациям серого, находящиеся в поле зрения сенсора объекты.
Кажется оба метода вполне приемлемы, но второй более простой. Дело в том, что в OpenCV, как вы знаете, реализовано масса нужных нам функций, в данном случае нас интересует детектирование объектов по цвету. Затем, привести данные о цвете объекта в соответствие с таблицей расстояний и получить глубину сцены с расстояниями до препятствий.
Далее на основании полученных метрических данных построим карту помещения, ну, а алгоритм A* позволит нам построить маршрут передвижения в пределах полученной карты. Вот так, с первого взгляда кажется все просто, посмотрим как будет реализовываться. Попробуем реализовать. Процесс буду описывать по мере получения результатов.

Вот и сделан первый шаг в реализации SLAM.
Из полученной от сенсора KINECT карты глубины сцены (на рисунке окно справа внизу "depth_body") вдоль вертикальной "линии сканирования" глубины, что по центру окна, считываются данные о глубине и записываются в массив. Для визуализации, прочитанные данные выводятся в окно "Depth" (слева внизу). В этом окне вид по "линии сканирования" представлен сбоку, т.е можно видеть соответствие коробок в окне "depth_body" вертикальным линиям в окне "Depth" с указанием расстояния в мм. от сенсора до коробок (цифры зеленым цветом). В окне "video_body" (слева вверху) изображение видео-камеры сенсора с видом на те же коробки.
Хочу обратить внимание на преимущества и недостатки такого сканирования по сравнению с другими сканерами (к примеру со сканирующим лазерным дальномером forum10/topic12095.html
Лазерный дальномер сканирует сразу всю область вокруг робота на котором он установлен, т.е. мы можем мгновенно получать карту препятствий с разворотом в 360 градусов, это бесспорно преимущество, ведь при быстрой смене сцены в помещении (к примеру, зашел человек) робот сможет так же быстро отреагировать на ситуацию. Недостаток этого метода состоит в том, что лазер сканирует в одной плоскости. Нашему роботу, оснащенному сенсором KINECT для того чтобы получить общую картину помещения придется развернуться на 360 градусов самому. Но за то, значительное преимущество в том, что KINECT видит не в одной плоскости (как лазер), а сразу строит картинку в 3D проекции на высоту до 2,5 метров от пола. Конечно это не важно, если робот сам высотой 15-20 см, но если платформа имеет рост до полутора метров этот вопрос становится критичным. Ведь если лазерный сканер детектировал, к примеру, ножку стола как препятствие то робот такой высоты как наш, не оснащенный подобным устройством как KINECT, посчитает что подъехать к этому препятствию можно, но как правило столешница стола выдается дальше ножки стола и конечно, неизбежно, произойдет столкновения робота со столешницей. Возможны и другие подобные ситуации. Кроме того лазерный дальномер не в состоянии детектировать объекты, будь то человек или какой то предмет интерьера, KINECT это может.
Вот скриншот по описанию:

ste4kin писал(а):А как дела с манипуляторами?

С манипуляторами выбор пока не сделан, есть два варианта
1. купить готовые
2. изготовить самостоятельно
Оба варианта имеют свои плюсы и минусы. Пока думаем на каком остановимся.

ROS-то запустить не проблема. На Cubieboard ставится, под Linaro - сборку Ubuntu под ARM.
А вот чтобы понять ROS - нужно сначала понять ROS. Такая вот рекурсия.
Сам сейчас читаю http://habrahabr.ru/company/tod/blog/204250/ http://habrahabr.ru/company/tod/blog/210252/
и пробую.

Будем. В общем сборка из исходников у меня не получилась, обычно пользуюсь дебианом, тут пришлось поставить убунту.
Тут forum87/topic11877-15.html#p293264
А на убунту все стало из пакетов, причем сразу. Поставил иксы - и черепашка начала ползать.

Наконец, есть немного новостей для публикации по нашему проекту.
Так как наша команда разработчиков увеличилась в составе, то пришлось подыскивать новое помещение для размещения проекта, прежде весь проект находился в моем рабочем кабинете (было тесно и не удобно работать). В итоге, выделили площадь, в основном офисе фирмы, не очень большую (около 18 кв.м.), но имеющую перспективу расширения. В помещении размещены рабочие столы, приобретен ПК, измерительные приборы, блоки питания, прочая оснастка, приспособления и инструмент. Рядом имеется мастерская оснащенная слесарным инструментом, верстаком, а так же токарным, сверлильным и заточным станками, в общем проект обзавелся собственной "жилой площадью". Новое помещение назвали громко - "Лаборатория робототехники". Так что в последние три недели почти все время уходило на оснащение лаборатории. Теперь уже закончили, возвращаемся к проекту.
Нужно сказать, что параллельно с созданием лаборатории, кое какие работы по самому проекту, все же велись:
В последнее время, по большей части пытался найти подход к реализации одометрии и SLAM. Но наткнулся на грабли. Как уже отмечалось раньше, для одометрии будет использован второй KINECT. Для подключения двух сенсоров к одному компьютеру необходимо чтобы у последнего было два USB хаба. Т.е. каждый KINECT должен работать с собственным USB-контроллером 2.0 или выше. Это связано с тем, что поток данных от сенсора идет непрерывно и занимает более 50% пропускной способности протокола USB 2.0. Но оказалось, что наш новый ПК, специально приобретенный для лаборатории и на котором предполагается отлаживать софт робота имеет только один встроенный USB hub, так что можно подключить только один KINECT. Казалось бы - не проблема, в свободный слот ставим внешний USB контроллер и вперед! Да не тут то было! Оказываются не все контроллеры могут корректно работать с KINECT-ом. Перебрали три штуки, разных производителей, с разными чипами. Только третий от NEC заработал как нужно, остальные, обнаруживают сенсор и тут же его теряют, работает не стабильно, хотя, при этом другие USB устройства (флэшки, диски, принтеры, камеры) работают вполне корректно. В общем, народ, имейте в виду, что сенсор работает не со всеми внешними USB хабами.
Кроме этого, командой был написан код, с использованием OpenCV, для распознавания лиц людей. Как вы знаете, наш робот умеет детектировать и отслеживать, поворотом головы (а в перспективе и тела), фигуру и лицо человека. Теперь он научится еще и узнавать людей с которыми когда то уже встречался, или знакомиться с человеком которого робот еще не знает. Программный код по распознаванию лица пока еще сыроват, но вполне стабильно работает, безошибочно узнает знакомые лица, правда с незнакомыми трудности возникают, но работы ведутся и думаю скоро все будет в порядке.
Пока такие новости по проекту.

Маленькая фото сессия лаборатории робототехники:

Общий вид рабочих мест, видны роботы.


Фотографии слесарки
Рабочий верстак

Станки

Токарный станок

Сверлильный станок

Точильный станок

Планируется еще приобретение муфельной печи, фрезерного станка, 3D-принтера, документ камеры и т.д.