1. Не рассматриваем стереозрение;
2. Не рассматриваем лазерную линию;
3. Не рассматриваем обработку видео на платформах отличных от ПК;
Итак - вроде на первое время с механикой и электроникой разделались, пора браться за более развесистые задачи

А чтобы не было скучно - предлагаю всем обладателям платформ с камерами или желающим обзавестись таковой попробовать объединить усилия.
Предлагаю разработать типовые решения для пачки задач с возможностью подключения закрытых модулей, например распознавалки от EDV'а или стереозрения от Vorral'а. Ну и к ним просьба естественно в итоге как минимум обеспечить закрытые модули под линух.
Предварительный этап предлагается делать под виндой, все кто под линухом - ставят виртуалбоксы, падение производительности порядка 2 раз постараемся компенсировать эффективными алгоритмами.
Первичные простейшие задачи, которые надо будет решить:
1. Построение модели камер и функций преобразования координат (для калибровки);
2. Определялка расстояния на базе камеры + лазерной указки;
Сложная задача А: Глобальная навигация - SLAM в базовом варианте с уникальными маяками (с объявленным интерфейсом по распознаванию маяков - для ориентации в подготовленном и неподготовленном пространстве);
Сложная задача Б: Локальная навигация - использование камеры (и возможно лазерной указки или ИК-дальномера) для координации действий манипулятора.

или скажите где почитать, что конкретно на первом этапе собираетесь делать. А то я до сих пор и не догнал. Ну есть кадр на котором есть пятно от лазера. Что делаем? Пока только ищем пятно? Или и расстояние считаем? Если и расстояние, то как? По размеру пятна от расфокусировавшегося пучка?