roboforum.ru

Технический форум по робототехнике.

Multitouch whiteboard

Multitouch whiteboard

MiBBiM » 06 сен 2008, 18:23

Наступил сентябрь, наступила пора учебно-исследовательских проектов=)
Сабж. Почитать можно здесь и здесь.
Насколько я понял, такую штучку можно собрать и на базе вебкамеры, предварительно удалив из неё ик фильтр. Возможно ли это и будет ли выше качество полученного устройства, ибо:
The actual resolution of the wiimote camera is 128x96. The onboard hardware uses subpixel interpolation & tracking to give the 1024x768.

Что получает джонни на выходе из пульта: изображение или координаты точек?
Последний раз редактировалось MiBBiM 01 фев 2010, 00:58, всего редактировалось 1 раз.

Re: Wii multi-touch sensor panel

Myp » 06 сен 2008, 21:25

конечно точки

обработкой изображения занимается процессор с суперсекретным алгоритмом

Re: Wii multi-touch sensor panel

MiBBiM » 07 сен 2008, 00:10

Не совсем понятно. В пульте стоит обычная камера или камера с фильтром, пропускающим только ик?

2 =DEAD=. Насколько тяжело отследить яркий ик светодиод от проецируемого на белую доску изображения? Или лучше использовать цветные светодиоды видимого спектра?

Вообще, вопрос стоит о покупке либо пульта Wii, либо web-камеры. Преимущество Wii - беспроводная (спорно), кнопки управления, получение сразу координат точек+готовый софт от господина Ли. Преимущество камеры - дешевизна+возможность получения изображения, однако гемор с ик+гемор с обработкой изображения.

P.S. Тему, наверн, можно перенести в форум для новичков.

Добавлено спустя 1 час 37 минут 24 секунды:
На форумах по проекту прочитал, что разрешение wii так себе. Линии не плавные, как на роликах, а тупо с квадратами и прямоугольниками. Мб буржуи привирают. Вот бы кто проверил :oops:

Добавлено спустя 50 минут 12 секунд:
Никак не могу понять, что даст большую разрешающую способность: wii или веб камера аналогичной стоимости

Re: Wii multi-touch sensor panel

=DeaD= » 07 сен 2008, 02:17

2MiBBiM: Не понял вопрос - насколько легко найти ИК-диод на фоне белого равномерного фона или что? Если да - то зависит от разницы в яркости - тупо надо снижать выдержку на камере, пока фон не станет серым, если ИК-диод существенно ярче, то он останется белым пятнышком.

Re: Wii multi-touch sensor panel

MiBBiM » 07 сен 2008, 10:34

Попробую развернуто.
Итак, имеется tv, площадь поверхности 0.46 м^2, яркость 500 кд/м^2, угол обзора 173 градуса.
Требуется распознать приложенный к экрану светодиод - Ли использовал TSAL6400. Возможно ли это с помощью веб камеры (я присмотрел 640*480, 1,3 мп, 30 кадров в сек) и насколько сложно?
Поясню зачем это надо:
The Wiimote includes a 128x96 monochrome camera, with an IR-pass filter in front of it. The camera includes a built-in processor capable of tracking up to 4 moving objects (raw pixel data is not available to the host). 8x subpixel analysis is used to provide 1024x768 resolution for the tracked points. <...> With the IR-pass filter intact, 940nm sources are detected with approximately twice the intensity of equivalent 850nm sources, but are not resolved as well at close distances. If the filter is removed, it can track any bright object.

В связи с таким низким разрешением, я рассматриваю возможность подобного применения обычной вебки (или мегапрофессиональной камеры без ик фильтра=) ).
Походу, т.н. "суперсекретный" алгоритм прст отслеживает яркие пятна, а для того, чтобы отсеять лишнее, используется фильтр, пропускающий только ик. Осталось достать по-дешевке этот фильтр, да вот где? :)

Re: Wii multi-touch sensor panel

=DeaD= » 07 сен 2008, 10:57

MiBBiM писал(а):Походу, т.н. "суперсекретный" алгоритм прст отслеживает яркие пятна, а для того, чтобы отсеять лишнее, используется фильтр, пропускающий только ик. Осталось достать по-дешевке этот фильтр, да вот где? :)

А, вы тоже не пользуетесь Гуглом :), первая ссылка по фразе "ИК-фильтр" - статья "ИК-фильтр своими руками", http://viand.my1.ru/publ/1-1-0-6

Ну и еще:

Рассказываю, как я сделал себе ИК фильтр для видеокамеры: купил подходящий
по размеру самый дешевый UV фильтр, выбил и аккуратно вычистил стекло. Затем
купил ролик широкого слайда и, не экспонировав, отдал его в проявку. Из
получившейся тонкой пленки вырезал подходящих размеров кружок и наклеил на
внешний ободок оправки от разбитого фильтра. Все.

Re: Wii multi-touch sensor panel

MiBBiM » 07 сен 2008, 18:07

=DeaD= писал(а):А, вы тоже не пользуетесь Гуглом

Признаюсь, не безгрешен. Искал с ключом "купить" и промазал=)

Кстати, появились первые результаты.
Вначале фотографировал через один слой пленки, как выяснилось - прст затемняет картинку, эффекта никакого. Зато два слоя дают ощутимое отличие свечения ик диода от изображения телевизора (снимал 0,1 мп камерой, так что не обессудьте :) ).
Теперь пошел курить насчет книжки "обработка изображениий и видео для чайников" :)
Вложения
28-07-08_1924.jpg

Re: Wii multi-touch sensor panel

remrum » 08 сен 2008, 12:38

Вот может поможет http://muonics.net/blog/ Граффити посредством проектора,вебкамеры и лазерной указки.
Видео впечатляет,есть кроме проги и Visual Studio 2005 Project.Мне кажется что разрешение камеры не основное , а рулит софт.
А насчет Wiimote плавность линий зависит от скорости перемещения светового пера и алгоритма сглаживания ,
есть кстати развитие проекта Джонни Ли где применен более продвинутый алгоритм.Камера Wiimote выдает по I2C
координаты точек,размер пятна и интенсивность света так что загрузки компа не будет в отличии от вебкамеры .
В инете есть много проектов по отслеживанию объектов посредством камеры Гугл поможет ,вот интересный материальчик
http://www.surveyor.com/ . Удачи

Re: Multitouch whiteboard

MiBBiM » 01 фев 2010, 00:54

2 года прошло :)
научился находить яркие пятна, теперь надо вычислить их весовой(?) центр для увеличения разрешающей способности системы.
пока что придумал рекурсивный проход по светлым пикселям с суммированием.

ещё есть мысли по улучшению
1. делать вычитание предыдущего кадра перед отсечением по порогу яркости, чтобы убрать постоянную составляющую. поскольку расположение камеры и окружение рядом с доской не будут меняться, то наверное, имеет смысл усреднить пару-тройку десятков кадров "фона" и потом уже вычитать получившийся эталонный кадр, а не предыдущий.
2. отвязать систему получения позиции курсора от обработки поступившего изображения. иными словами, сделать обновление позиции по фиксированному времени, каждые 32мс, к примеру; а кадры могут быть получены и через 40мс, и через 30мс. нужно создать какой-то механизм прогнозирования (да хотя бы банальную касательную), для которой информация с кадра будет просто уточнением приближения.
зачем это надо? пользователю удобнее/комфортнее пользоваться системой с постоянным временем отклика
3. может не изобретать велосипед и найти в opencv готовые механизмы для трекинга?
P.S> позволил себе чутка видоизменить название темы :)

Re: Multitouch whiteboard

Angel71 » 01 фев 2010, 01:26

MiBBiM, а может всё же старый добрый camspace? http://developers.camspace.com/

Re: Multitouch whiteboard

MiBBiM » 01 фев 2010, 02:38

ненене, мне нужен мультитач, а не контроллер =) хотя, camspace тоже крут, поигрался, понравилось :)
попробовал идею с вычитанием фона, работает замечательно, чуть позже выложу картинки

Re: Multitouch whiteboard

MiBBiM » 01 фев 2010, 15:54

не все так радужно оказалось, будем думать
01.02.png


Добавлено спустя 3 часа 3 минуты 31 секунду:
с ик-фильтром результаты гораздо лучше, даже обычной лазерной указки. если излагать в терминах opencv, то мне сейчас нужно выделить контуры пятен.

Re: Multitouch whiteboard

kamigvik » 01 фев 2010, 16:26

как фильтр можно попробывать кусочек диска от дискетки, я ставил его перед чб камерой, видео сигнал обрабатывал атмегой, поиск точки с разришеним 50х100


Rambler\'s Top100 Mail.ru counter