roboforum.ru

>А как же будет выглядеть интерфейс между модулем зрения и мозгом?
Никакого интерфейса и не нужно. У меня будет следующая схема, модуль зрения в реал-тайме выстраивает трёхмерную карту мира и заполняет базу новыми образами или изменениями в текущих. Мозг выполняет свои задачи пользуясь картой и информацией из базы данных. Так же мозг может управлять всеми доступными сервомашинками, включая те на которых установлена голова. Видя, что прошло много времени и какие то участки карты устарели по времени. Он приводит в движение голову и своё туловище в зависимости от текущей позиции, корректируя свои действия, видя какие элементы в карте обновились. Т.е. получается, что карта мира и характеристики объектов в базе данных ОБЩИЙ ресурс. Модуль зрения наполняет эту базу данных информацией, а мозг её читает и анализирует и в зависимости от цели монопольно рулит всеми сервами либо для выполнения задачи, либо для заполнения базы, либо для упорядочивания/архивирования в ней информации.

как сопоставить то, что получилось на 3d карте с какими-то определенными образами? как сгруппировать стулья отдельно от котов? как отделить стоящую на столе корзину от собственно стола и принять их как 2 объекта? а яблоки которые в корзине?

с тем же успехом можно рассматривать задачу сканирования книг. разделить ее на сканирование, хранение и собственно распознание. отношение по сложности, мне кажется, будет примерно тем же, что и в задаче описанной выше. таки получение собственно 3d карты и хранение это "несколько" меньше, чем задача собственно распознания.

Это первый вопрос, который у меня появился, когда я задумался о распознавании. Очень просто у меня не будет разделения на объекты до тех пор, пока их не разделит например стереозрение или движения самих предметов. Это будет происходить либо при движении робота, либо, если предмет будет поднят/перенесён кем то. Например камень, тогда он будет отделён от общей структуры земли(будет понятно какие части отделились и составляют предмет). При чём система будет уметь только разрывать связи и никогда не будет уметь склеивать их, но будет уметь составлять из отдельных элементов объект.

2Vorral: Твой подход как минимум не покрывает всего многообразия задач и даже близко не лежит к той плоскости проблем, которые Виктор предлагает рассматривать. Это всё равно что на предложение создать космический корабль ответить, что одно из главных в космическом корабле - это хорошие материалы, поэтому я сейчас эти материалы разрабатываю, и из этих материалов буду собирать супер-быстрый катер. А к космическим кораблямм как нибудь потом перейду, но точно перейду и мой путь через катер - единственно верный

и в какой момент времени стол будет отклеен от пола? а вот шкаф, например у которого еще и внутри что-то есть? примеров можно привести просто таки массу. и это только первая задача - выделение собственно объекта из потока. причем не самая сложная. (порядка определения границ буквы на странице при OCR)
дальше интереснее.
как определить, что вот это вот нечто перед вами - стакан? или стул? не следует забывать, что человек называет стулом не один конкретный объект, а целый их класс. стулья разные бывают но все это для нас стулья. каким образом будут решаться эти задачи?

рискну напомнить, что даже задача очень простая относительно описанных выше - распознавание текста решена весьма посредственно. машина читает совсем не так хорошо как человек (скорее даже по сравнению с человеком читает отвратно) и это при том, что мы имеет дело с плоскостью, печатными буквами (почти что маяки) и зачастую если не с битональным изображением, то с оттенками серого. относительно распознавания 3D объектов это просто чих. и то задача эта до сих пор не решена на должном уровне.

а дальше оффтоп. вот по этому мне и кажется, что на данном этапе сильно гнаться за видео смысла нет. механизмов для обработки такого потока информации нет, условия сложные, ресурсы ограниченные. а главное, что как мне кажется, задачи возлагаемые на роботов (связанные с тем же зрением) либо избыточны, либо могут быть решены иначе. то, что человек использует зрение когда пылесосит вовсе не означает, что для этого обязательно иметь зрение роботу пылесосу. во всяком случае не на том уровне, что имеет человек. а задача зрения на столько связана с ИИ, что это, можно считать, 2 половинки одной задачи. так вот одну из них (ИИ) весьма давно решить не могут и мне кажется, никогда не решат.

2Vorral: А уж "никогда не будет уметь склеивать" - это вообще более чем спорное предложение

так что давай мух отдельно, котлет отдельно, твой путь не единственный которым надо идти к нашей общей цели, предлагаю параллелиться и не навязывать свою ветку другим

Добавлено спустя 49 секунд:
Короче предлагаю сначала добиться от Виктора объяснения чего именно он предлагает, а не пытаться навязать ему свою точку зрения или свой круг задач, ИМХО это справедливо и конструктивно.

Да, согласен, что то сегодня я здесь и так много времени провёл
2frig: от темы я не ухожу, на все те вопросы, которые перечислены я уже выработал стратегию. Но чтобы не сотрясать воздух, лучше позже(пару лет) выложу, что получилось на примерах и само собой в подходящую тему.

а я и не утверждаю, что ты уходишь от темы. я пытаюсь натолкнуть на мысль, что задача весьма и весьма сложна и что решение ее несколько сложнее чем 3d реконструкция. а еще, что ИИ все таки имеет непосредственное отношение к зрению. распознание образов по картинке это задача как раз относящаяся к ИИ, на мой взгляд.

Я не вижу в этом проблемы, так как уже продумал всё поверхностно, появятся конечно и подводные камни, но избежать их у меня никогда не получалось, а вот разрешить, получалось всегда. В общем как говорится: поживём, увидим.

Я не вижу в этом проблемы

поделился бы хотя бы поверхностно с общественностью, а? народ вон не один год над этим институтами бьется и все никак. а я бы вопросов каверзных позадавал бы...

вдруг чего не учел, а так авось оно и выплывет общими усилиями.

Обязательно обсудим, когда придёт время. Мне нужно до этого момента сначала решить кучу второстепенных задач, в том числе и по механике. Сейчас для меня это не актуально. Это действительно получается сродни пытаться создать космический корабль, не имея для этого самой "базы" для сборки, как и самого материала.

боюсь, что для "постройки" нет даже продуманных принципов работы сего механизма. я не говорю о алгоритме, как точной схемы действий, а о принципах. т.е. ответов на вот те и некоторые другие вопросы которые я озвучил выше. а как то, а как это. ну это такое. пожуем - увидим.

Да нет же ничего сложного, просто весь мир делится на кучу трёхмерных матриц(у меня будут такие марицы со сторонами 14метров), по мере движения робота и выезда за одну из матриц, инициализируется и заполняются следующая в этом направлении. Что дальше зоны действия стереозрения(15метров), остаётся плоской картинкой сразу за стенкой последней матрицы. Стол пока стоит на полу, считается монолитным с полом стенами и т.д. Тоже и с дверцой шкафа, открылась, опа, всё дверца отдельный объект, который пристыковывается в общему объекту(шкаф,стены,пол всё это пока один объект под своим индификатором). А предметы внутри шкафа тоже по началу считаются монолитными к нему. Классификация предметов на столы и стулья меня пока вообще не интересует, сначала нужно карту построить Склеивать два кадра стерео планирую с помощью оптикал флоу(для себя сделаю и учёт информации полученный в ходе 3д реконструкции). Так же он же пригодится и в других местах(например к той плоской картинке, которая дальше действия стереокамер). Всё, хорош! Можно обсуждать идеи до бесконечности, только смысла в этом мало на текущий момент.

Отрубил тему, теперь можно обсуждать тут до бесконечности

Я знал, что так закончится и это правильно )