Наконец-то дошли до ROS. На мой взгляд, это самый перспективный вариант, на котором можно строить свою логику, подключать онтологии, механизмы вывода и разрешения противоречий. Почему? Да потому что в ROS можно писать на ЛЮБОМ языке, который может общаться по сокетам. Просто реализуйте общий интерфейс и вперед. Я уверен что и с CLIPS и с OWL прижелании это можно подружить.
Общая архитектура системы принципиально такая. Есть главный узел, остальные узлы (скажем узел работы с камерой) при старте соощает "я стартовал". После этого к нему могут конектиться другие узлы. Например, узел распознавания, который картинку преобразует в 3Д модель. А к узлу распознавания - например узел планирования. И т.п. Получается несколько хаотичный граф связей, но все очень гибко.
Из минусов РОС могу назвать только то, что ребята совсем не принимают в расчет стоимость оборудования. Я прикидывал, их робот PR2 никак не меньше 15К стоит
Поэтому при аппаратной реализации драйвера надо будет писать под более дешевое железо. РОС в себя вклюает Player насколько я знаю, поэтому дрова там пишутся по тому же принципу.
Моделирование. Можно юзать OpenRAVE, можно Stage. Первйый вроде покруче и они сами с ним работают. Позволяет практически все что надо и хорошие библиотеки физики, коллизий и т.п. туда подключаются. ОпенРАВЕ еще и висит как сервер, поэтому в ней можно организовать моделирование чего угодно, хоть армии роботов.
Отсюда вопрос с топикстартеру. А почему не берется за основу это? Ведь так вы решаете вопрос навигации и манипуляции плюс получаете уже решенные задачираспознавания. Не все конечно, но хотя бы что-то. Плсюс можете поддерживатьс связь с разработчиками, они очень приветливо относятся к новым членам комьюнити.
Я у своего робота (пока в проекте) хочу тоже заюзать OpenRobotics железки и поставить на всеэто дело ROS.
Но ROS - это убунту
Так что вижуал студио пролетает. В WillowGarage пользуются эклипсом и Code::Blocks и вполне довольны.
а так, хоят бы азы понять. 
можете не прислушиваться, но тогда поверьте мне, вы потратите весь остаток своей жизни на бесплодные фантазии. ибо до уровня, к примеру хотя бы того же Гибсона (писатель-фантаст) вам тааааааак далеко 
к слову, Гибсон когда писал свои шедевры вообще ни в зуб ногой был, что такое компьютеры и куча другой сложной техники
но думаю что азы я понимаю, всё таки 20 летний опыт общения с компьютерами, начиная с ZX-Spectrum сказывается... да и работа в области автоматизации и работающее с моей подачи оборудование тоже... в принципе знаком со многими языками программирования начиная с ASM и его технологического потомка IL...и кончая визуальными средами программирования... но всё равно белых пятен много 