Разработка RoboBrain: - модуль монокулярного зрения

=DeaD=

2Vorral: Думаю не станет этого задешево, слишком узкая сфера применения.

Добавлено спустя 3 минуты 32 секунды:
Хотя есть вот такие игрушки:
http://www.fastvideo.ru/info/compare/exilim-ex-fh20.htm
http://www.fastvideo.ru/info/compare/exilim-ex-f1.htm

Но не думаю что их реально в штатном режиме подцепить к ПК, чтобы они выдавали в него видеоряд с этой же скоростью.

Vorral

>Думаю не станет этого задешево
Важно для начала получить пользу хотя бы от 2потоках1280x1024x15fps или 2потоках640x480x30fps, тех камер что есть у меня. Обработка такого огромного кол-ва пикселей сложная задача. Поэтому чтобы работать с высокими разрешениями нужен очень мощный процессор(оптимизация кода пермоментно актуальная задача). Вот если он в будущем будет дёшев, то меня устроит купить для него две дорогих камеры.

Виктор Казаринов

Продолжу.
Мой модуль монокулярного зрения - автомат, деятельность которого основана на алгоритмах и аксиомах, заложенных в него на этапе проектирования. Однако некоторые параметры модуля могут быть изменены управляющими командами.
Характер выходной информации, необходимый модулям дальнейшей обработки зрительной информации:
1. Перепады общей яркости и перепады яркости по отдельным цветам. Все что между перепадами, представляется областью, закрашенной одним цветом. Параметры перепадов регулируются управляющими командами.
2. Изменение градиентов общей яркости и яркости по отдельным цветам. Все что между изменением градиентов, представляется областью, имеющей заливку согласно вектора градиента. Параметры изменения градиентов регулируются управляющими командами.
3. Движение. Все, что не движется относительно центра фокуса внимания, не передается далее. Перепады и изменения градиентов также не передаются, если не движутся.
4. Информация выдается в виде пирамиды фокуса внимания (см. выше в данной теме) начиная с самого общего изображения и заканчивая самым подробным. Диапазон от самого общего в выборке до самого подробного регулируется управляющими командами.
Эти и другие механизмы должны существенно снизить поток информации, необходимой для обработки в последующих модулях, а также устранить избыточность и шумы.

contr

Цитата:

Мой модуль монокулярного зрения - автомат, деятельность которого основана на алгоритмах и аксиомах, заложенных в него на этапе проектирования.

Вернее фантазирования на пустом месте. Нет ни типа сенсора, ни алгоритмов, ни прикидки возможности все желаемое реализовать.
Пока Вы лишь расписали чего хотите от модуля, а о том как это планируете делать не сказали ни слова. Кто "пирамиду внимания" вычисляет? По каким признакам? Кто модулем управляет? Сколько приводов? Протокол управления? Питание, габариты, стоимость?

Виктор Казаринов

Ишь вы какой шустрый. Сначала входы/выходы опишу, затем нутро делать буду. Но никак не наоборот. А приводы - это не для этого модуля. Цена и вес - позже.

contr

Вы описываете лишь свои желания, не имея представления о способах их реализации. Соответственно и описание бредовое. Скажем пишете:

Цитата:

А приводы - это не для этого модуля.

А как тогда на "пирамиду" будете модуль наводить? Понимаю, что не будете, но ... :ROFL:

Виктор Казаринов

2contr: посмотрите в начале этой темы. Я специально для вас картинки рисовал и все объяснял. Пирамида строится из одного исходного изображения. Робот вместо того, чтобы "глазами" вращать, меняет направления взгляда, изучая разные части одного поля зрения. Т.е. ничего механически перемещать не нужно. Но для расширения поля зрения можно поворачивать голову с пом. других модулей, как это делает человек.

AndreiSk

запросил прайс от fastvideo. ru, короче от 200тр все только начинается. мдяяя...

contr

Речь вероятно об использовании лишь части изображения. Тогда "пирамида" останется крошечной и с плохим разрешением. Это не совсем то, что Вы нарисовали.

Виктор Казаринов

Я нарисовал именно так: все изображение предельного для камеры разрешения. На нем вырезается прямоугольная область с центром в фокусе внимания и эта область загрубляется, т.е. уменьшается кол. пикселов на нем. Затем на исходном изображении выделяется еще меньшая область и ее размер в пикселах доводится до нужного. И т.д. Каждая такая область обрабатывается последовательно от бОльшей к меньшей.

=DeaD=

AndreiSk писал(а):

запросил прайс от fastvideo. ru, короче от 200тр все только начинается. мдяяя...

http://www3.elphel.com/ не подошел?

contr

Попробуем разобраться

Цитата:

На нем вырезается прямоугольная область с центром в фокусе внимания и эта область загрубляется, т.е. уменьшается кол. пикселов на нем.

Вырезается часть изображения. Кол-во пиксел ес-но уменьшется без всякого загрубления.

Цитата:

Затем на исходном изображении выделяется еще меньшая область и ее размер в пикселах доводится до нужного.

Опять что-то из исходника вырезается и каким-то образом разрешение повышается. Как?

Цитата:

Каждая такая область обрабатывается последовательно от бОльшей к меньшей.

Из вырезки еще что-то нарезаем и отдельные уже пикселы рассматриваем? Это сам модуль делает?

Вероятно последовательность предполагаемых действий перепутана.
1 Берем кадрик с низким разрешением
2 Выделяем интересующую область
3 Читаем эту область с максимальным разрешением
Это принцип работы обычного сканера. С камерой такое не пройдет, там и так разрешение низкое.

Виктор Казаринов

Для работы модуля реконструкции геометрического мира нужна деятельность модуля монокулярного зрения. С него я и начну имея ввиду пробную разработку программного робота по управлению чужими приложениями в компьютере на основе того, что он видит на экране монитора с пом. последовательности скриншотов.
Для этого начинаю разработку соответствующего неавтономного плагина, кот. могут использовать другие плагины системы RoboBrain в программной среде AIAssistant.
Данный плагин в основном аналитический, в котором происходят трансформации исходного пиксельного изображения. На выходе - последовательность онтологический описаний.

Виктор Казаринов

В настоящее время модуль монокулярного зрения (ММЗ) я начал разработать на основе LPC ARM для дальнейшей реализации в "металле". Вот только не определился с некоторыми вещами:
1. Какой тип интерфейса видеокамер взять за основу для ввода информации?
1.1. Простейшая оцифровка средствами МК чб изображения аналогового сигнала.
1.2. Параллельный интерфейс телефонных камер.
1.3. Что-то изобретать или найти чье-то решение по USB камерам.
1.4. Что-то еще...
Вопрос с одной стороны чисто технический, с другой - он сильно влияет на программные решения первичной части данного модуля.
2. Прикладной уровень протокола связи ММЗ для связи с другими модулями RoboBrain.
Предполагается, что ММЗ должен быть предельно гибким с целью максимальной адаптации к наблюдаемому миру. Для этого я закладываю в основу его работы лишь небольшое количество базовых алгоритмов, которые определяются спецификой обрабатываемой информации. Основное поведение модуля как одного из агентов - демонов моей системы должно основываться на обучении с пом обратных связей. В основе должна лежать онтология - часть единой общей онтологии всего RoboBrain.

=DeaD=

ИМХО фальшстарт. Сначала должны быть разработанные и 50 раз обкатанные алгоритмы на ПК с понятной ресурсоёмкостью, затем эскизное планирование железного модуля в части выбора чипа ПЛИС и\или МК с понятным потенциалом в смысле функций, и только затем проектирование железа.

roboforum.ru

Разработка RoboBrain: - модуль монокулярного зрения

Кто сейчас на конференции