roboforum.ru

Возможно этот вопрос уже рассматривался, но тем не менее.

Закройте глаза. Коснитесь указательным пальцем кончика носа.
Вопрос как палец вообще находит нос? Или мочку уха?
Читаю:
"Мозг определяет координаты того места, в которое нужно ткнуть пальцем, а затем передает в спинной мозг информацию о необходимом положении суставов руки. Спинной мозг организует работу мышц, чтобы достичь нужного положения суставов. ("Мозг, разум, поведение" Ф. Блюм, Ф. Лейзерон, Л. Хофстедтер.)"
Ну может и так.

Тогда провел над собой несколько опытов.
1. Кладу на стол зажигалку. Смотрю на нее и беру З. рукой.
Ничего особенного.

2. Кладу З. на стол, смотрю на нее, закрываю глаза и безошибочно беру З. рукой.
Уже интереснее. Значит все по приведенной выше цитате.

3. Кладу З. на стол, смотрю на нее одним глазом, закрываю глаз и безошибочно беру З. рукой.
Стало еще интереснее. Как мозг определил расстояние до предмета (его координаты) одним глазом?
В опыте №2 можно сослаться на бинокулярное зрение, угол и т.д.
А здесь? Непонятно, как одним глазом мозг определяет координаты?

4. Кладу на стол зажигалку. Смотрю на нее, закрываю глаза и прошу жену откатить мою инвалидную коляску со мной назад на небольшое расстояние.
Пытаюсь взять зажигалку и ошибаюсь ровно на расстояние отката!

Опыт №3 наиболее интересен в плане робототехники. Робот должен одним своим электронным глазом идентифицировать объект, определить его координаты (расстояние до него) без всяких там доплер-эффектов и эхолотов, которых в настоящем глазу нет, и взять предмет механической рукой.
Для меня это за гранью понимания. Как образом это происходит?

Опыт №4 вероятно дает представление о том, к чему привязана система координат в которой определяется положение предмета.
В опыте 2 и 3, не откатываясь, наклонял голову, туловище с закрытыми глазами, и опять безошибочно брал З.
Получается что если, например, система координат привязана к голове, то при наклоне туловища с закрытыми глазами, вносится поправка и вычисляются новые координаты предмета?

Однако в опыте №4 система координат откатилась вместе со мной (глаза закрыты, нога пола не касается) и никакой уже поправки нет. Ошибаюсь в расстоянии при попытке взять З. ровно на длину отката.
Если отталкиваюсь ногой от пола не отрывая ее, то зажигалку с закр. глазами можно взять правильно

Можете повторить и убедиться.

Просто попробуйте после взятия з. одной рукой, обвести руку вокруг головы с зажатой в руке з., положить её на стол и взять другой рукой не открывая глаз.
И почему вы ограничиваете техническое зрение только одной камерой забывая что у вас есть мозг который и обрабатывает всю информацию опираясь на весь ваш накопленный видимо немалый опыт.

Спасибо! Сколько раз надо крутить над головой и по часовой стрелке или против нее?


Вопрос понятен?

А с чего вы взяли что человек одним глазом видит плоскую картинку? Это большое заблуждение считать что наш глаз устроен как видео камера. На самом деле это не так. Посмотрите сколько людей потерявших зрение на один глаз, что же по вашему они не могут ориентироваться в пространстве? Да вы сами возьмите закройте один глаз и посмотрите на окружающие предметы, вы же видите их объемными? Конечно! Я думаю это заблуждение сложилось из-за 3D видео и компьютерных игр. Но на самом деле 3D это обман зрения, а не действительность. И не столько мозг это делает, сколько сложность устроения нашего глаза.

"Полноценное восприятие глубины возможно только двумя глазами. Зрение одним глазом - монокулярное - дает представление лишь о высоте, ширине, форме предмета, но не позволяет судить о взаиморасположении предметов в пространстве "по глубине"."
С сайта www.glazmed.ru клиника Эффективная медицина. Офтальмология.
Думаю, что специалисты-офтальмологи немного побольше разбираются в этом вопросе. Одним глазом нельзя определить глубину расположения предмета. Проведите опыт со спицами одним глазом или вденьте нитку в иголку. Не получится.

А как же фокусное расстояние? Глаз фокусируется в определенную точку - это и есть расстояние до объекта, но двумя глазами естественно точнее.

Вот это уже ближе! Благодарю!

Расстояние до объекта U = f*v/(v-f), где v- расстояние от хрусталика до сетчатки, оно неизменно.
При аккомодации меняется фокус f, меняется кривизна хрусталика с помощью цилиарной мышцы. Чем ближе объект, тем больше f, тем больше напряжена мышца. Мышцы в конечном итоге управляются с помощью эл. сигналов, величину которых, вероятно, и отслеживает мозг. Т.е. мозг с помощью этого "понимает" насколько ближе или дальше находится предмет.
Но чтобы понять в какой именно точке видимой сферы радиуса U находится предмет, вероятно, точно также отслеживаются сигналы мышц поворачивающие глаз вверх-вниз и влево-вправо.
Таким образом мозг "запомнил" в какой точке пространства находится предмет, зафиксировав координаты в "своих непонятных единицах", которые и передаются исполнительному механизму - руке (см. цитату в первом сообщении этой темы). К чему привязана эта система координат не ясно.
Но это уже не столь важно, по крайней мере, для этого форума.

Но тема не ради занятных физиологических разборок.
А в том можно ли применить такую принципиальную схему в прикладной робототехнике?

Современные фотоаппараты обладают интеллектуальной системой распознавания лиц, при этом автоматически отрабатываются настройки фокусировки и экспозиции. Т.е. можно определить координаты объекта относительно глаза робота по трем параметрам: два угла и расстояние. Т.е. определяется направление движения и расстояние до него.
Вместо лиц можно в память забить любой предмет со своей формой, цветом и т.д.

А теперь представьте, робот- нянька, который будет непрерывно следовать за ребенком гуляющем в саду, при этом будет останавливаться около него на заданном "почтительном" расстоянии.
Его можно оснастить видео камерой передающей изображение родителям. При удалении отслеживаемого объекта от "песочницы" дальше чем можно, робот предпринимает следующие действия .... у кого буйная фантазия может пофантазировать.

Или следит за гуляющим в парке находящимся под "домашним арестом" Улюкаевым. Абсолютно неподкупный топтун!
Это как пример.

Или другой.
На полу рассыпаны различные фигуры: шары, кубики, призмы.
Задача: собрать все предметы, причем каждый в свою корзину.
По предложенной схеме определяются координаты выбранного объекта, робот приближается к нему, берет лапой и крутит башкой в поисках корзинки красного цвета.

Вариантов может быть бесчисленное множество.

Про физиологию - тут работает больше мозг, а не глаз. Мозг на основе предыдущего опыта знает какого размера ваша зажигалка и глядя одним глазом вы вполне можете предсказать на каком расстоянии находится предмет по характерным искажениям перспективы и размера. Если вы будете смотреть на незнакомый предмет или знакомый, но необычного размера, то ошибка определения положения будет намного больше.


Это прожектёрство в чистом виде. В чем смысл в роботе иметь ровно один глаз? Сэкономить 3 копейки?
Со стерео парой работать проще - тут работает геометрия, а не искусственный интеллект.

Даже продвинутые стереокамеры типа https://www.stereolabs.com создают довольно безобразную 3D картину. Видимо, потому, что используют не самые лучшие алгоритмы, взятые из OpenCV.
Основную роль для человека в зрении играет все-таки сам мозг с его опытом и способностью к воображению. Именно воображение строит в нашем уме окончательную картину того, что мы видим. Ну что мы можем увидеть глазами в далеко шевелящейся точке? Однако как только узнаем походку знакомого, так очень ярко можем представить его как будто видим его рядом. Конечно, в таком домысливании зрительной картины возникает множество ошибок, но это часто бывает вполне допустимым. Так что видим мы преимущественно третьим глазом как Гомер.

пока подобных глазу камер на рынке нет.



лица в память не то что бы "забиты"
но если хочется порассуждать, то забив в память все все все, вы получите слишком большой объем данных и очень много вычислений, что не позволит считать в приемлемое время и еще электростанцию нужно будет с собой возить... для большинства задач есть менее затратные методы.



OpenCV то чем не угодил? алгоритмы можете какие угодно пользовать, в cv только реализации некоторых алгоритмов. тут проблема в вычислительных возможностях, а не в камерах и opencv. можете самостоятельно собрать стереокамеру например мегапикселей на 13 с нужными расстояниями, но обрабатывать ее нормально будет только кластер на нескольких видокартах. оно вам действительно нужно? при наличии лидаров и разных слам-вариаций?

Чушь, попробовал и вдел. Хуже, конечно чем двумя глазами получилось, но вдел. Попробовал одним глазом определить расстояние до объекта - определил верно, как и затем двумя. Попросил другого человека это проделать, и он повторил все это без особых затруднений. Уважаемый mstr, может у вас со зрением что то не в порядке?