roboforum.ru

Duhas писал(а):

EDV писал(а):Я тут поисковик видео на днях забодяжил, решил вот похвалиться

а можно как то адаптировать дабы фильтровать порно в соц сетях? я думаю под это можно бюджетик сообразить.. предложив тому же вконтакту.. их же вроде все пытаются дрюкать за это дело...

порно на ресурсе это стабильный доход
никто в здравом уме не станет удалять порно до тех пор пока не наедут конкретно.

кроме пользователей (при отсутствии модерации стремящихся к полному звездецу) есть еще имидж, инвесторы, законодательство (по которому можно требовать бабосы за хранение копирайтного контента без разрешения)
EDV, с первой версией кластера это не больше, чем рутина. панелька управления основного компа или разделить на сервис и панельку, что бы можно было из сети управлять. на каждой машине локальный клиент - т.е. сервер с т.з. предоставления сервиса хранение/обработка инфы. опять же разделять или не разделять морду. и клиентом с т.з. "эй ты, а ну закинь меня в списочек, йа готов работать" и т.д. в панельке создаются задания, пробегаясь по списку рабочих машин, смотрятся сколько каких ресурсов свободно и учитывая прогноз высвобождения решается, пихать в её пул задач новую или нет. нужно учитывать сколько потоков эффективно можно создать на машине, как это всё винт нагружает при парралельном чтении/записи, что с пропускной сети. удобно, что работаеть может начиная с одной машины. примерно так обычно делаеют для простых сервисов, можно и пожанглировать.

Я думаю, что можно попробовать развить тему с распознаванием видеороликов, тем более у меня есть новые результаты тестирования, да и с распараллеливанием алгоритма никаких проблем, просто на каждом компьютере/процессоре в кластере будет своё собственное поисковое дерево, затем центральный процесс посылает картинку всем остальным и начинается дружный поиск во всех деревьях одновременно.

На выходных я провёл дополнительное тестирование, смысл которого следующий:

Есть два видеофильма:

Flight of the Navigator (длительность: 1:25:42)
http://en.wikipedia.org/wiki/Flight_of_the_Navigator

Kung Pow! Enter the Fist (длительность: 1:21:30)
http://en.wikipedia.org/wiki/Kung_Pow!_Enter_the_Fist

Первый фильм используем, как исходный и запоминаем его содержимое
(с помощью утилиты "AVI_2_AVM.exe") в дерево поиска AVM.
http://edv-detail.narod.ru/AVI_2_AVM.zip

После добавления видеоролика, дерево поиска содержит 354804 образов.

Теперь оцениваем качество работы алгоритма распознавания на больших объёмах данных.

Для этого вначале выполняем поиск похожего содержимого в первом (исходном) ролике,
где в идеальном случае должны быть распознаны все изображения и параметр
"Intersection" должен составлять 100 %, а затем выполняем поиск во втором ролике,
который не содержит ранее записанных в дерево поиска образов, и таким образом
параметр "Intersection" в идеальном случае должен быть равен нулю.

После тестирования были получены следующие результаты:



Количество образов в дереве поиска: 354804
Процентное соотношение изображений распознанных в первом ролике 68.83 %
Процентное соотношение изображений распознанных во втором ролике 0.01 %

В среднем, время поиска составляло менее 20 ms на каждый кадр/изображене,
на процессоре Core 2 Duo E6600.

усложним задачу? взять несколько видео с очень похожим содержимым. запись футбольного матча, концерта,... суть думаю понятна

Если отрезать края у фильма - какой % покажет? Взять экранку? Взять по другому пожатую версию?

А так - круто!

Хорошие вопросы
Нужно пробовать
А прикиньте, какой потенциальный маршрут можно запихнуть в робота, если AVM может ролики размером больше часа «проглатывать»

Так это, в топку маршруты, надо карты закладывать

EDV, у крыс хочешь позаимствовать поведение, когда они останавливаются и назад видева проматывают?

Чёта я про такое не слышал Можно ссылку?

с ссылкой тяжко. сейчас гляну, чего из видео по крысам на винте осталось. если что ссыль на торрент дам или залью на роутер.
п.с. с перемоткой это имхо очень-очень на потом и то не факт, что понадобиться.

Добавлено спустя 3 минуты 14 секунд:
http://rutor.org/torrent/45378/umnye-krysy_national-geograghic-rat-genius-2007-hdtv-rip-by-~romych~
~14 минута

Добавлено спустя 1 час 29 минут 45 секунд:
забыл. ради интереса можно посравнивать в различных разрешениях и качестве. кпк/веб/hd/... рипы, с очень сильным сжатием или "корявыми ручками" (квадратики, сглаживание), экранки. ещё трейлеры, как вариант.

торрент по крысам не качается.. за ночь даже не начал (

сек

Добавлено спустя 4 минуты 10 секунд:
подключился к раздаче, пробуй.

Добавлено спустя 9 минут 21 секунду:
тут есть. торрернт, онлайн и по прямой ссылке. только качество немного похуже и не знаю, есть ли доступ не из украины.

нашел на рутрекере 500 метров размером.. тот торрент так и висит в нулях..

хз, чего торрент иногда тупит. у меня за ночь всего 700 метров раздало. сейчас опять нет входящих коннектов, хотя 3 личера показывает.