Multitouch whiteboard

Обсуждаем рождающиеся мысли и результаты экспериментов.

Multitouch whiteboard

Сообщение MiBBiM » 06 сен 2008, 18:23

Наступил сентябрь, наступила пора учебно-исследовательских проектов=)
Сабж. Почитать можно здесь и здесь.
Насколько я понял, такую штучку можно собрать и на базе вебкамеры, предварительно удалив из неё ик фильтр. Возможно ли это и будет ли выше качество полученного устройства, ибо:
The actual resolution of the wiimote camera is 128x96. The onboard hardware uses subpixel interpolation & tracking to give the 1024x768.

Что получает джонни на выходе из пульта: изображение или координаты точек?
Последний раз редактировалось MiBBiM 01 фев 2010, 00:58, всего редактировалось 1 раз.
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Wii multi-touch sensor panel

Сообщение Myp » 06 сен 2008, 21:25

конечно точки

обработкой изображения занимается процессор с суперсекретным алгоритмом
<telepathmode>На вопросы отвечает Бригадир Телепатов!</telepathmode>
Всё уже придумано до нас!
Аватара пользователя
Myp
скрытый хозяин вселенной :)
 
Сообщения: 18018
Зарегистрирован: 18 сен 2006, 12:26
Откуда: Тверь по прозвищу Дверь
прог. языки: псевдокод =) сила в алгоритме!
ФИО: глубокоуважаемый Фёдор Анатольевич

Re: Wii multi-touch sensor panel

Сообщение MiBBiM » 07 сен 2008, 00:10

Не совсем понятно. В пульте стоит обычная камера или камера с фильтром, пропускающим только ик?

2 =DEAD=. Насколько тяжело отследить яркий ик светодиод от проецируемого на белую доску изображения? Или лучше использовать цветные светодиоды видимого спектра?

Вообще, вопрос стоит о покупке либо пульта Wii, либо web-камеры. Преимущество Wii - беспроводная (спорно), кнопки управления, получение сразу координат точек+готовый софт от господина Ли. Преимущество камеры - дешевизна+возможность получения изображения, однако гемор с ик+гемор с обработкой изображения.

P.S. Тему, наверн, можно перенести в форум для новичков.

Добавлено спустя 1 час 37 минут 24 секунды:
На форумах по проекту прочитал, что разрешение wii так себе. Линии не плавные, как на роликах, а тупо с квадратами и прямоугольниками. Мб буржуи привирают. Вот бы кто проверил :oops:

Добавлено спустя 50 минут 12 секунд:
Никак не могу понять, что даст большую разрешающую способность: wii или веб камера аналогичной стоимости
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Wii multi-touch sensor panel

Сообщение =DeaD= » 07 сен 2008, 02:17

2MiBBiM: Не понял вопрос - насколько легко найти ИК-диод на фоне белого равномерного фона или что? Если да - то зависит от разницы в яркости - тупо надо снижать выдержку на камере, пока фон не станет серым, если ИК-диод существенно ярче, то он останется белым пятнышком.
Проект [[Open Robotics]] - Универсальные модули для построения роботов
Аватара пользователя
=DeaD=
 
Сообщения: 24218
Зарегистрирован: 06 окт 2004, 18:01
Откуда: Ебург
прог. языки: C++ / PHP / 1C
ФИО: Антон Ботов

Re: Wii multi-touch sensor panel

Сообщение MiBBiM » 07 сен 2008, 10:34

Попробую развернуто.
Итак, имеется tv, площадь поверхности 0.46 м^2, яркость 500 кд/м^2, угол обзора 173 градуса.
Требуется распознать приложенный к экрану светодиод - Ли использовал TSAL6400. Возможно ли это с помощью веб камеры (я присмотрел 640*480, 1,3 мп, 30 кадров в сек) и насколько сложно?
Поясню зачем это надо:
The Wiimote includes a 128x96 monochrome camera, with an IR-pass filter in front of it. The camera includes a built-in processor capable of tracking up to 4 moving objects (raw pixel data is not available to the host). 8x subpixel analysis is used to provide 1024x768 resolution for the tracked points. <...> With the IR-pass filter intact, 940nm sources are detected with approximately twice the intensity of equivalent 850nm sources, but are not resolved as well at close distances. If the filter is removed, it can track any bright object.

В связи с таким низким разрешением, я рассматриваю возможность подобного применения обычной вебки (или мегапрофессиональной камеры без ик фильтра=) ).
Походу, т.н. "суперсекретный" алгоритм прст отслеживает яркие пятна, а для того, чтобы отсеять лишнее, используется фильтр, пропускающий только ик. Осталось достать по-дешевке этот фильтр, да вот где? :)
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Wii multi-touch sensor panel

Сообщение =DeaD= » 07 сен 2008, 10:57

MiBBiM писал(а):Походу, т.н. "суперсекретный" алгоритм прст отслеживает яркие пятна, а для того, чтобы отсеять лишнее, используется фильтр, пропускающий только ик. Осталось достать по-дешевке этот фильтр, да вот где? :)

А, вы тоже не пользуетесь Гуглом :), первая ссылка по фразе "ИК-фильтр" - статья "ИК-фильтр своими руками", http://viand.my1.ru/publ/1-1-0-6

Ну и еще:

Рассказываю, как я сделал себе ИК фильтр для видеокамеры: купил подходящий
по размеру самый дешевый UV фильтр, выбил и аккуратно вычистил стекло. Затем
купил ролик широкого слайда и, не экспонировав, отдал его в проявку. Из
получившейся тонкой пленки вырезал подходящих размеров кружок и наклеил на
внешний ободок оправки от разбитого фильтра. Все.
Проект [[Open Robotics]] - Универсальные модули для построения роботов
Аватара пользователя
=DeaD=
 
Сообщения: 24218
Зарегистрирован: 06 окт 2004, 18:01
Откуда: Ебург
прог. языки: C++ / PHP / 1C
ФИО: Антон Ботов

Re: Wii multi-touch sensor panel

Сообщение MiBBiM » 07 сен 2008, 18:07

=DeaD= писал(а):А, вы тоже не пользуетесь Гуглом

Признаюсь, не безгрешен. Искал с ключом "купить" и промазал=)

Кстати, появились первые результаты.
Вначале фотографировал через один слой пленки, как выяснилось - прст затемняет картинку, эффекта никакого. Зато два слоя дают ощутимое отличие свечения ик диода от изображения телевизора (снимал 0,1 мп камерой, так что не обессудьте :) ).
Теперь пошел курить насчет книжки "обработка изображениий и видео для чайников" :)
Вложения
28-07-08_1924.jpg
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Wii multi-touch sensor panel

Сообщение remrum » 08 сен 2008, 12:38

Вот может поможет http://muonics.net/blog/ Граффити посредством проектора,вебкамеры и лазерной указки.
Видео впечатляет,есть кроме проги и Visual Studio 2005 Project.Мне кажется что разрешение камеры не основное , а рулит софт.
А насчет Wiimote плавность линий зависит от скорости перемещения светового пера и алгоритма сглаживания ,
есть кстати развитие проекта Джонни Ли где применен более продвинутый алгоритм.Камера Wiimote выдает по I2C
координаты точек,размер пятна и интенсивность света так что загрузки компа не будет в отличии от вебкамеры .
В инете есть много проектов по отслеживанию объектов посредством камеры Гугл поможет ,вот интересный материальчик
http://www.surveyor.com/ . Удачи
remrum
 
Сообщения: 8
Зарегистрирован: 09 июн 2008, 22:38
Откуда: Москва,Новомосковск

Re: Multitouch whiteboard

Сообщение MiBBiM » 01 фев 2010, 00:54

2 года прошло :)
научился находить яркие пятна, теперь надо вычислить их весовой(?) центр для увеличения разрешающей способности системы.
пока что придумал рекурсивный проход по светлым пикселям с суммированием.

ещё есть мысли по улучшению
1. делать вычитание предыдущего кадра перед отсечением по порогу яркости, чтобы убрать постоянную составляющую. поскольку расположение камеры и окружение рядом с доской не будут меняться, то наверное, имеет смысл усреднить пару-тройку десятков кадров "фона" и потом уже вычитать получившийся эталонный кадр, а не предыдущий.
2. отвязать систему получения позиции курсора от обработки поступившего изображения. иными словами, сделать обновление позиции по фиксированному времени, каждые 32мс, к примеру; а кадры могут быть получены и через 40мс, и через 30мс. нужно создать какой-то механизм прогнозирования (да хотя бы банальную касательную), для которой информация с кадра будет просто уточнением приближения.
зачем это надо? пользователю удобнее/комфортнее пользоваться системой с постоянным временем отклика
3. может не изобретать велосипед и найти в opencv готовые механизмы для трекинга?
P.S> позволил себе чутка видоизменить название темы :)
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Multitouch whiteboard

Сообщение Angel71 » 01 фев 2010, 01:26

MiBBiM, а может всё же старый добрый camspace? http://developers.camspace.com/
Аватара пользователя
Angel71
 
Сообщения: 10668
Зарегистрирован: 18 апр 2009, 22:18

Re: Multitouch whiteboard

Сообщение MiBBiM » 01 фев 2010, 02:38

ненене, мне нужен мультитач, а не контроллер =) хотя, camspace тоже крут, поигрался, понравилось :)
попробовал идею с вычитанием фона, работает замечательно, чуть позже выложу картинки
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Multitouch whiteboard

Сообщение MiBBiM » 01 фев 2010, 15:54

не все так радужно оказалось, будем думать
01.02.png


Добавлено спустя 3 часа 3 минуты 31 секунду:
с ик-фильтром результаты гораздо лучше, даже обычной лазерной указки. если излагать в терминах opencv, то мне сейчас нужно выделить контуры пятен.
Tomorrow will be. Better
Аватара пользователя
MiBBiM
 
Сообщения: 1866
Зарегистрирован: 29 окт 2007, 18:11
Откуда: Пермь
прог. языки: Brainfuck/Basic/Delphi/C++/Lisp/x86asm/JavaScript

Re: Multitouch whiteboard

Сообщение kamigvik » 01 фев 2010, 16:26

как фильтр можно попробывать кусочек диска от дискетки, я ставил его перед чб камерой, видео сигнал обрабатывал атмегой, поиск точки с разришеним 50х100
kamigvik
 
Сообщения: 27
Зарегистрирован: 25 окт 2008, 15:55


Вернуться в Идеи

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 13