roboforum.ru

Технический форум по робототехнике.


панорама из видео высокой чёткости

Предложение о работе и сотрудничестве на коммерческой основе

панорама из видео высокой чёткости

Сообщение robotics.by » 26 июл 2012, 14:38

Мы делаем сейчас схожий проект. Тоже нужно сделать систему наподобие Google Street View (http://maps.google.com/help/maps/streetview/). Т. е. набор панорам и связанный с ними граф возможных переходов. Но для тех мест куда машина не заедет. Дополнительно стояла задача получать панорамы без разработки специальных устройств.
Мы долго думали какое устройство может подойти и, нашли что это может быть телефон на платформе Android (Samsung Galaxy S II).
Описание системы:
Телефоном простой пользователь снимает видео высокой четкости (1920x1080) и одновременно с ним пишутся его координаты глобальные, значения углов крен, тангаж, рысканье и ряд дополнительных параметров. Снимает он стараясь охватить пространство вокруг себя - фактически вращаясь на одном месте - меняя только угол по высоте. На точку приходится примерно 1-2 Gb видео в формате MPEG-4 30 кадров в секунду. Дальше данные+видео обрабатывается специальным образом математически(CAS Mathematica 8 ) и формируется сфера с текстурированными треугольниками из реального мира (.x файл и текстура высокого разрешения 64 мегапиксела). В специальной программе просмотра можно просмотреть панораму (обычно все не удается покрыть на 100%).
Смотрите картинки для ясности, на пальцах такое не объяснишь.

Пишите, спрашивайте - все что могу расскажу тем более мы продолжаем работу над этим проектом.

analyse.png
Обработанная "точка" панорамы.

texture.png
Текстура для панорамы.

view1.png
Панорама под разным углом 1.

view2.png
Панорама под разным углом 2.

view3.png
Панорама под разным углом 3.
Последний раз редактировалось robotics.by 26 июл 2012, 17:00, всего редактировалось 4 раз(а).
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: Разработка системы для съемки панорам с авто

Сообщение Myp » 26 июл 2012, 14:51

здорово :)
<telepathmode>На вопросы отвечает Бригадир Телепатов!</telepathmode>
Всё уже придумано до нас!
Аватара пользователя
Myp
скрытый хозяин вселенной :)
 
Сообщения: 17778
Зарегистрирован: 18 сен 2006, 12:26
Откуда: Тверь по прозвищу Дверь
прог. языки: псевдокод =) сила в алгоритме!
ФИО: глубокоуважаемый Фёдор Анатольевич

Re: Разработка системы для съемки панорам с авто

Сообщение Angel71 » 26 июл 2012, 20:11

robotics.by, темку бы отдельную, а то тут люди с заказом, а мы налетим с вопросами. если вы и тс не против, думаю будет не проблема модераторам тему разделить.
тоже недавно заинтересовался созданием панорам и 3д моделей помещений. порывшись пока остановился на квалкомовских библиотеках vuforia и fastcv, они под мобильные железки оптимизированы. для пробы примерно такое планирую

именно склейка фрагментов пока опасений не вызывает, а вот на такие косяки с цветопередачей нарваться опасаюсь
realpano1.png

если сталкивались с подобным, как решали?
Аватара пользователя
Angel71
 
Сообщения: 10597
Зарегистрирован: 18 апр 2009, 22:18
Предупреждения: -1

Re: Разработка системы для съемки панорам с авто

Сообщение elmot » 26 июл 2012, 20:50

чем клеите-то?
Аватара пользователя
elmot
 
Сообщения: 5691
Зарегистрирован: 10 ноя 2011, 12:02
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья

Re: панорама из видео высокой чёткости

Сообщение robotics.by » 27 июл 2012, 00:15

Стараюсь отвечать как и обещал:

Создание 3D представления зданий (модель и текстура) имея на руках только мобильный телефон в полуавтоматическом режиме теоретически возможна. Практически не видел такие приложения.

Проблема Ваша с дисбалансов цветов (чаще белого) должна решаться на этапе склейки.

Процедура "склейки" очень сложный процесс, но слава богу его основные моменты и относительно качественная реализация есть в библиотеке OpenCV. Подробности смотрите тут - http://opencv.willowgarage.com/wiki/opencv_stitching.
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: панорама из видео высокой чёткости

Сообщение Angel71 » 27 июл 2012, 00:52

вот один из проектов, в которм применяется реконструкция, но над ним еще работают.
по склейке теории болле-менее накопал. готовые ф-и из либ пока не интересны - для лучшего понимания пока планирую свой код написать, поглядывая в том числе как он в различных библиотеках реализован. да и тем более недавно наметилась проблемка с анроидом - на нём с подключением внешних устройств ситуация намного хуже, чем с windows/linux. с текущим железом подружить скорей всего получится, но в общем ситуация не радует. буду пробовать, а там видно будет. или использовать различные библиотеки на андроиде/не андроиде с максимально близким кодом программы или часть алгоритмов придётся писать самому или выдирать из опенсорсных либ и адаптировать.
а вот инфы по цветокоррекции (пока даже не знаю как правильно назвать) найти не удалось. да, попадалась обзорная инфа, но кроме обобщёной воды на пару абзацов с картинками ничего толкового, а это не то.
Аватара пользователя
Angel71
 
Сообщения: 10597
Зарегистрирован: 18 апр 2009, 22:18
Предупреждения: -1

Re: панорама из видео высокой чёткости

Сообщение robotics.by » 27 июл 2012, 01:58

Angel71 писал(а):вот один из проектов, в которм применяется реконструкция, но над ним еще работают.
по склейке теории болле-менее накопал. готовые ф-и из либ пока не интересны - для лучшего понимания пока планирую свой код написать, поглядывая в том числе как он в различных библиотеках реализован. да и тем более недавно наметилась проблемка с анроидом - на нём с подключением внешних устройств ситуация намного хуже, чем с windows/linux. с текущим железом подружить скорей всего получится, но в общем ситуация не радует. буду пробовать, а там видно будет. или использовать различные библиотеки на андроиде/не андроиде с максимально близким кодом программы или часть алгоритмов придётся писать самому или выдирать из опенсорсных либ и адаптировать.
а вот инфы по цветокоррекции (пока даж не знаю как правильно назвать) найти не удалось. да, попадалась обзорная инфа, но кроме обобщёной воды на пару абзацов с картинками, но это не то.

Проект который Вы привели в качестве примера использует DSLR камеры (зеркальные цифровые камеры). У нас именно речь идет об не стандартном использовании камер телефона. Там снимаются кадры - мы работаем с видео. В любом случае проявляйте интерес к этой теме, возможно Вы станете автором алгоритма/идеи, которая сможет давать людям, имеющим такие телефоны, новые возможности их использования.
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: панорама из видео высокой чёткости

Сообщение Angel71 » 27 июл 2012, 02:57

имхо в том то и дело, что алгоритму в итоге должно быть без разницы, с чего получены изображения. поток, не поток, а при обработке каждый кадр по отдельности обрабатывается. максимум это отличия в качестве изображений, разрешении, фенечках, на подобии exif или стабилизации изображения, возможность самому управлять параметрами съёмки или невозможность вообще на что-то влиять, как в случае с cctv камерами и т.д.
у вас же стоит конкретная задача и вы её решили. а у меня в том-то и дело, что не одна задача. навигация для робота, создание высококачественной 3d модели модели помещения, дополнения реальность. допустим не у всех планшетов есть задняя камера, да и качество в бюджетных не особо. пусть даже есть и качество будет вполне на уровне, но используя планшет или смартфон в качестве вычислялки робота сразу появляется проблема с тем, что не всегда удобно будет использовать встроеную камеру. другой момент в том, что при необходимости сделать нормального качества панораму или внутреннюю 3д модель помещения, использовать встроеную камеру, простенькую cctv или ip камеру или вебку вариант не особо приемлемый. нужно будет использовать или нормальную зеркалку или хорошую видеокамеру. кстати у многих фото/видеокамер есть возможность получать картинку с тюльпана, что в принципе тоже может оказаться полезным.
Последний раз редактировалось Angel71 27 июл 2012, 03:16, всего редактировалось 1 раз.
Аватара пользователя
Angel71
 
Сообщения: 10597
Зарегистрирован: 18 апр 2009, 22:18
Предупреждения: -1

Re: панорама из видео высокой чёткости

Сообщение robotics.by » 27 июл 2012, 03:07

Angel71 писал(а):имхо в том то и дело, что алгоритму в итоге должно быть без разницы, с чего получены изображения. поток, не поток, а при обработке каждый кадр по отдельности обрабатывается. максимум это отличия в качестве изображений, разрешении, фенечках, на подобии exif или стабилизации изображения, возможность самому управлять параметрами съёмки или невозможность вообще на что-то влиять, как в случае с cctv камерами и т.д.


Заблуждаетесь - алгоритм при текстурировании (у нас сферу) панорамы при склейке изображений должен учитывать фокусное расстояние и тип объектива для каждого изображения. Т. е. знание информации об инструменте которым снимают очень важно. Дальше проблема - у видео нет exif и фокусное расстояние не известно (а реально вообще автофокусировка, автобаланс белого). Поэтому для фотоаппаратов все несколько проще.
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: панорама из видео высокой чёткости

Сообщение Angel71 » 27 июл 2012, 03:18

вы с ответом меня опередили, пока я немножко дополнял своё сообщение.
п.с. я писал за поток/отдельные кадры :) похоже просто сразу немного недопонял, что именно вы подразумевали.
Аватара пользователя
Angel71
 
Сообщения: 10597
Зарегистрирован: 18 апр 2009, 22:18
Предупреждения: -1

Re: панорама из видео высокой чёткости

Сообщение robotics.by » 27 июл 2012, 12:18

Angel71 писал(а):вы с ответом меня опередили, пока я немножко дополнял своё сообщение.
п.с. я писал за поток/отдельные кадры :) похоже просто сразу немного недопонял, что именно вы подразумевали.

Ваш набор задач - фундаментален и по силам только институтам как минимум. Мы сами решаем похожую задачу автономной навигации и картографирования. Но опять же с большим рядом ограничений, а не в общем случае. Это отдельная от панорамирования тема обсуждения.
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: панорама из видео высокой чёткости

Сообщение Angel71 » 27 июл 2012, 13:31

не разделяю вашего пессимистичного взгляда. для примера: раньше для написания ос наподобии доса нужно было сначала чуть ли не институты, потом кафдры или маленького отдела в компании, затем 1-2 человека, а сейчас студент 1-2 курса (если вообще не школьник) при желании за несколько месяцев может написать. всё сам с 0 или частично готовые исходники возьмёт особо значения не имеет, я же образно. с ос пример может и не очень, но можно и другой, ближе к теме. если под дос программировали, поймёте. только создание кода для работы с видеокартой был еще тот головняк - сначала через прерывания нужно было с бубнон инициализировать нужный режим (да еще и потестив на различных видеокартах), написать кучу ф-ий для работы с буфером и отрисовки всяких точечек, линий, окружностей, спрайтов,... попыхтеть над созданием хотя бы жутко примитивной графической оболочки. от многозадачности и работы с картой захвата наверно головняка еще больше было. потом бы еще надо было с 0 написать весь код для обработки поступающей видеоинформации - библиотек никаких толком же небыло, да и такой как сейчас теорией и в помине не пахло. написание кода для поддержки графических файлов (хотя бы банально нормальной работы с bmp или gif) так же особо в восторг не вводила. а сколько сил на это у вас уйдёт сейчас на винде/линухе/андроиде, да еще и с использованием всяких готовых библиотек? надеюсь общий ход мыслей понятен.
п.с. в планах создавать что-то сверхнавороченое и в помине нет.
Аватара пользователя
Angel71
 
Сообщения: 10597
Зарегистрирован: 18 апр 2009, 22:18
Предупреждения: -1

Re: панорама из видео высокой чёткости

Сообщение Madf » 27 июл 2012, 15:57

Обычно когда снимают панорамы, то не используют автоматическую экспозицию, всё в мануале и тогда проблем нет.
Madf
 
Сообщения: 3232
Зарегистрирован: 03 янв 2012, 12:55
Откуда: Москва
прог. языки: VB6, BASCOM, ASM...

Re: панорама из видео высокой чёткости

Сообщение robotics.by » 28 июл 2012, 13:41

Angel71 писал(а):не разделяю вашего пессимистичного взгляда. для примера: раньше для написания ос наподобии доса нужно было сначала чуть ли не институты, потом кафдры или маленького отдела в компании, затем 1-2 человека, а сейчас студент 1-2 курса (если вообще не школьник) при желании за несколько месяцев может написать. всё сам с 0 или частично готовые исходники возьмёт особо значения не имеет, я же образно. с ос пример может и не очень, но можно и другой, ближе к теме. если под дос программировали, поймёте. только создание кода для работы с видеокартой был еще тот головняк - сначала через прерывания нужно было с бубнон инициализировать нужный режим (да еще и потестив на различных видеокартах), написать кучу ф-ий для работы с буфером и отрисовки всяких точечек, линий, окружностей, спрайтов,... попыхтеть над созданием хотя бы жутко примитивной графической оболочки. от многозадачности и работы с картой захвата наверно головняка еще больше было. потом бы еще надо было с 0 написать весь код для обработки поступающей видеоинформации - библиотек никаких толком же небыло, да и такой как сейчас теорией и в помине не пахло. написание кода для поддержки графических файлов (хотя бы банально нормальной работы с bmp или gif) так же особо в восторг не вводила. а сколько сил на это у вас уйдёт сейчас на винде/линухе/андроиде, да еще и с использованием всяких готовых библиотек? надеюсь общий ход мыслей понятен.
п.с. в планах создавать что-то сверхнавороченое и в помине нет.

Ваши рассуждения верные, но их нужно направить. В мире существуют уже очень давно Системы Компьютерной Алгебры (CAS - английское сокращенное название). Все фундаментальные разработки ведутся в них или в них добавляются готовые алгоритмы после признания ценности мировым сообществом. Это такие пакеты как Mathematica (для тех кто работает с символьными вычислениями) и MathLab (для тех кому необходимы численные вычисления). Эти инструменты (мы работаем с Mathematica) позволяют создать мастер-алгоритм. После получения алгоритма и оценки, анализа (обычно доказательства) его возможностей, преимуществ нужно переходить к реализации уже непосредственно на языках программирования. Более того - Mathematica позволяет генерировать и компилировать исходные коды - вызывая компилятор С/C++ с которым вы работаете (мы работаем с профессиональным компилятором от Intel и библиотекой IPP). Примерно так у нас идет разработка по сути.
Мобильная робототехника самое увлекательное занятие для думающих о завтра людях http://www.robotics.by.
Аватара пользователя
robotics.by
 
Сообщения: 43
Зарегистрирован: 06 дек 2011, 18:03
Откуда: Минск
прог. языки: С,C++,C#,Java for Android
ФИО: Герасюто Сергей Леонидович

Re: панорама из видео высокой чёткости

Сообщение Myp » 30 июл 2012, 19:47

а для обычных юзеров есть что-то?
я конечно понимаю что можно взять видеоролик и в вегасе порезать его на кадры и сохранить их в джипег
а потом в ptgui сделать панораму из сохранённых джипегов...

но может есть что-то бесплатное для домашнего использования с меньшим геморроем?

Добавлено спустя 1 час 4 минуты 44 секунды:
такс, для айфона есть программа
снимаешь видео, и прога делает панораму.

а для писи чтонибуть...?
<telepathmode>На вопросы отвечает Бригадир Телепатов!</telepathmode>
Всё уже придумано до нас!
Аватара пользователя
Myp
скрытый хозяин вселенной :)
 
Сообщения: 17778
Зарегистрирован: 18 сен 2006, 12:26
Откуда: Тверь по прозвищу Дверь
прог. языки: псевдокод =) сила в алгоритме!
ФИО: глубокоуважаемый Фёдор Анатольевич

След.

Вернуться в Вакансии/Работа/Трудоустройство/Заказы

Кто сейчас на конференции

Сейчас этот форум просматривают: Yandex [Bot] и гости: 1

Mail.ru counter