roboforum.ru

Доброго всем времени суток!

Я тут решил заняться экспериментами по «Автономной навигации робота» и хочу поделится своими соображениями по поводу, как сделать с наименьшими затратами (и времени и финансов) робоплатформу для подобных экспериментов. Специально для посетителей «Робофорума», я подготовил статью:

Как из дешевого китайского танчика (радиоуправляемая модель) сделать робоплатформу для проекта "Автономная навигация робота"

В ближайшее время, я постараюсь заняться разработкой программы «Навигатора», которая будет управлять роботом, анализируя изображения, полученные от видеокамеры с радиопередатчиком, расположенной на робоплатформе. Как только появятся первые результаты, обещаю поделиться. Вся документация и интерфейсы пользователь-компьютер программы «Навигатор» будут на русском языке.

Респект!

Я на этой же платформе делаю, только электронику всю выкинул штатную, чтобы потом иметь возможность передавать инфу с танка с датчиков (типа ИК-дальномеров, компаса или сонаров): wiki/OR-MRBT-v2

Добавлено спустя 11 минут 19 секунд:
PS: В своё время тоже думал юзать танк, как готовую платформу - но вот той же башней крутить - как понять на ПК в каком она сейчас положении? Как планируете эту задачу решать? Или будете только шасси юзать, а башню нет?

EDV писал(а):программы «Навигатора», которая будет управлять роботом, анализируя изображения, полученные от видеокамеры с радиопередатчиком, расположенной на робоплатформе.

Вот это интересно.

2EDV: А вообще - предлагаю объединить усилия

=DeaD= писал(а):PS: В своё время тоже думал юзать танк, как готовую платформу - но вот той же башней крутить - как понять на ПК в каком она сейчас положении? Как планируете эту задачу решать? Или будете только шасси юзать, а башню нет?

Я предполагаю, что положение башни можно вычислить, анализируя локальное и глобальное движение в кадре, с помощью «Optical flow» алгоритма.

Один из таких алгоритмов, основанный на технологии AVM, я добавил в SDK:
AVM_SDK_v0-5.zip\AVM_SDK\samples\vc6.prj\OpticalFlow\

AVM SDK v0.5 с примерами использования и тестами для сравнения
характеристик предыдущей и новой версий:
http://edv-detail.narod.ru/AVM_SDK_v0-5.zip

=DeaD= писал(а):2EDV: А вообще - предлагаю объединить усилия

Ну что же, я не против. Такие сложные задачи должен решать коллектив разработчиков, а не один человек, так будет гораздо эффективнее. Как только у меня появятся первые наработки, я планирую выложить исходные тексты программы «Навигатор» (всё кроме AVM, эта технология будет представлена в виде SDK).

EDV писал(а):Я предполагаю, что положение башни можно вычислить, анализируя локальное и глобальное движение в кадре, с помощью «Optical flow» алгоритма.

Это означает, что крутить башней можно только в положении "стоп" - так? Иначе движение и поворот башни смешается? И анализировать снимки только начальный и конечный при повороте будешь? И в целом - не слишком ли много сложностей лишних из-за отсутствия обратной связи?

EDV писал(а):Ну что же, я не против. Такие сложные задачи должен решать коллектив разработчиков, а не один человек, так будет гораздо эффективнее. Как только у меня появятся первые наработки, я планирую выложить исходные тексты программы «Навигатор» (всё кроме AVM, эта технология будет представлена в виде SDK).

Ну я не любитель закрытого кода, однако не думаю что станет проблемой.

А какие задачи ставятся в первую очередь? Какая камера планируется к использованию?

=DeaD= писал(а):Это означает, что крутить башней можно только в положении "стоп" - так? Иначе движение и поворот башни смешается? И анализировать снимки только начальный и конечный при повороте будешь? И в целом - не слишком ли много сложностей лишних из-за отсутствия обратной связи?

На мой взгляд, если человек будет способен определить положение башни, оперируя при этом только снимками с видеокамеры, значит и программу можно будет обучить (толи по анализу движения, толи по распознаванию внешней обстановки).

=DeaD= писал(а):Ну я не любитель закрытого кода, однако не думаю что станет проблемой.

А какие задачи ставятся в первую очередь?

Задача первая: Создать приложение «Навигатор» связать его (с помощью участка общей памяти) с приложением "Драйвер управления роботом". Подключить AVM SDK, организовать режимы: обучения, слежения, и преследования объекта, используя технологию AVM. Для начала, хотя бы это сделать, в качестве теста.

=DeaD= писал(а):Какая камера планируется к использованию?

Для начала закреплю на корпусе модели обычную web-камеру с длинным шнуром, ну а потом планирую купить видеокамеру с радиопередатчиком и приёмником и подключить её через TV тюнер.

EDV писал(а):На мой взгляд, если человек будет способен определить положение башни, оперируя при этом только снимками с видеокамеры, значит и программу можно будет обучить (толи по анализу движения, толи по распознаванию внешней обстановки).

Мне кажется, что человек не сможет это сделать .

EDV писал(а):Задача первая: Создать приложение «Навигатор» связать его (с помощью участка общей памяти) с приложением "Драйвер управления роботом". Подключить AVM SDK, организовать режимы: обучения, слежения, и преследования объекта, используя технологию AVM. Для начала, хотя бы это сделать, в качестве теста.

А зачем так сложно - с помощью общей памяти? производительность чтоли не поспевает?

EDV писал(а):Для начала закреплю на корпусе модели обычную web-камеру с длинным шнуром, ну а потом планирую купить видеокамеру с радиопередатчиком и приёмником и подключить её через TV тюнер.

Мажут они в движении все поэтому преследование и Optical-flow кажутся малость нереальными...

>Мне кажется, что человек не сможет это сделать
Может и я это каждый день в игре(Crysis) доказываю. Там можно гонять на танке. Сколько уже техники противника погубил
>Мажут они в движении все поэтому преследование и Optical-flow кажутся малость нереальными...
Важен именно алгоритм. Волков бояться в лес не ходить.

=DeaD= писал(а):Мне кажется, что человек не сможет это сделать .

Ну поглядим, это уже поэкспериментировать нужно, что бы однозначно дать ответ (возможно или нет).

=DeaD= писал(а):А зачем так сложно - с помощью общей памяти? производительность чтоли не поспевает?

Ну опять, таки, нужно будет поэкспериментировать, выяснить как будет удобнее (можно, конечно, и управление роботом в приложении «Навигатора» разместить).

=DeaD= писал(а):Мажут они в движении все поэтому преследование и Optical-flow кажутся малость нереальными...

Ничего страшного, TV тюнер я уже приобрёл, и одна аналоговая цветная видеокамера у меня есть. Так что попробую их использовать на первый случай…

Мне нравится постановка задачи, так и нужно, без всяких дальномеров шарповских и МК. Видео поток содержит в себе огромное кол-во данных, нужно просто научиться с ним работать.

Vorral писал(а):>Мне кажется, что человек не сможет это сделать
Может и я это каждый день в игре(Crysis) доказываю. Там можно гонять на танке. Сколько уже техники противника погубил

Ересь какая ты на танке можешь резко повернуть башню ровно на 50°? Или сказать в любой момент на сколько ° у тебя она повернута? То-то же!

Vorral писал(а):>Мажут они в движении все поэтому преследование и Optical-flow кажутся малость нереальными...
Важен именно алгоритм. Волков бояться в лес не ходить.

Алгоритмы на чем-то обкатывать надо.

Добавлено спустя 49 секунд:

EDV писал(а):Ничего страшного, TV тюнер я уже приобрёл, и одна аналоговая цветная видеокамера у меня есть. Так что попробую их использовать на первый случай…

Просто аналоговая камера это одно, а компактная радиокамера китайская - совсем другое

Vorral писал(а):Мне нравится постановка задачи, так и нужно, без всяких дальномеров шарповских и МК. Видео поток содержит в себе огромное кол-во данных, нужно просто научиться с ним работать.

Вот и я о чём, водители вон машины водят и при этом полагаются только на зрение. Значит и компьютер, в принципе научить можно.

EDV писал(а):Вот и я о чём, водители вон машины водят и при этом полагаются только на зрение. Значит и компьютер, в принципе научить можно.

Да-да-да, у меня тоже есть ощущение, что некоторые водители опираются только на зрение, естественный интеллект у них при этом напрочь отсутствует

Добавлено спустя 3 минуты 3 секунды:
В общем мне кажется, что при попытке рулить на ходу мы столкнёмся с проблемой качественного видео.
Поэтом надо начинать решать эту проблему уже сейчас.

>Значит и компьютер, в принципе научить можно.
+1. Хорошо хоть кто то здесь это понимает, а не ищет отмазки типа "Мажут они в движении все". Кстати это не правда ). Не хотел сразу говорить, потому что знаю здешних обитателей, сразу кричать начнут "видео в студию".
>Да-да-да, у меня тоже есть ощущение, что некоторые водители опираются только на зрение, естественный интеллект у них при этом напрочь отсутствует
Так в чём проблема?? Хочешь сказать, что повторить принципы ЕИ невозможно, они так не логичны??

P.S. Поясню, про вебкамеры(фирма chicony). Я с ними работал через Delphi, а пока не знаю как в нём записать видеопоток, хотя сам в этом очень заинтересован. Хочу снимать стерео, а для этого нужно объединить два ракурса в один кадр и передать кодеку. Насчёт "мажут", я специально быстро махал рукой и изображение отлично визуально выглядело, никаких тормозов/искажений/смещений которые свойственны другим вебкамерам.