EDV писал(а):Я тут поисковик видео на днях забодяжил, решил вот похвалиться
а можно как то адаптировать дабы фильтровать порно в соц сетях? я думаю под это можно бюджетик сообразить.. предложив тому же вконтакту.. их же вроде все пытаются дрюкать за это дело...
порно на ресурсе это стабильный доход никто в здравом уме не станет удалять порно до тех пор пока не наедут конкретно.
кроме пользователей (при отсутствии модерации стремящихся к полному звездецу) есть еще имидж, инвесторы, законодательство (по которому можно требовать бабосы за хранение копирайтного контента без разрешения) EDV, с первой версией кластера это не больше, чем рутина. панелька управления основного компа или разделить на сервис и панельку, что бы можно было из сети управлять. на каждой машине локальный клиент - т.е. сервер с т.з. предоставления сервиса хранение/обработка инфы. опять же разделять или не разделять морду. и клиентом с т.з. "эй ты, а ну закинь меня в списочек, йа готов работать" и т.д. в панельке создаются задания, пробегаясь по списку рабочих машин, смотрятся сколько каких ресурсов свободно и учитывая прогноз высвобождения решается, пихать в её пул задач новую или нет. нужно учитывать сколько потоков эффективно можно создать на машине, как это всё винт нагружает при парралельном чтении/записи, что с пропускной сети. удобно, что работаеть может начиная с одной машины. примерно так обычно делаеют для простых сервисов, можно и пожанглировать.
Я думаю, что можно попробовать развить тему с распознаванием видеороликов, тем более у меня есть новые результаты тестирования, да и с распараллеливанием алгоритма никаких проблем, просто на каждом компьютере/процессоре в кластере будет своё собственное поисковое дерево, затем центральный процесс посылает картинку всем остальным и начинается дружный поиск во всех деревьях одновременно.
На выходных я провёл дополнительное тестирование, смысл которого следующий:
Первый фильм используем, как исходный и запоминаем его содержимое (с помощью утилиты "AVI_2_AVM.exe") в дерево поиска AVM. http://edv-detail.narod.ru/AVI_2_AVM.zip
После добавления видеоролика, дерево поиска содержит 354804 образов.
Теперь оцениваем качество работы алгоритма распознавания на больших объёмах данных.
Для этого вначале выполняем поиск похожего содержимого в первом (исходном) ролике, где в идеальном случае должны быть распознаны все изображения и параметр "Intersection" должен составлять 100 %, а затем выполняем поиск во втором ролике, который не содержит ранее записанных в дерево поиска образов, и таким образом параметр "Intersection" в идеальном случае должен быть равен нулю.
После тестирования были получены следующие результаты:
Количество образов в дереве поиска: 354804 Процентное соотношение изображений распознанных в первом ролике 68.83 % Процентное соотношение изображений распознанных во втором ролике 0.01 %
В среднем, время поиска составляло менее 20 ms на каждый кадр/изображене, на процессоре Core 2 Duo E6600.
Хорошие вопросы Нужно пробовать А прикиньте, какой потенциальный маршрут можно запихнуть в робота, если AVM может ролики размером больше часа «проглатывать»
с ссылкой тяжко. сейчас гляну, чего из видео по крысам на винте осталось. если что ссыль на торрент дам или залью на роутер. п.с. с перемоткой это имхо очень-очень на потом и то не факт, что понадобиться.
Добавлено спустя 1 час 29 минут 45 секунд: забыл. ради интереса можно посравнивать в различных разрешениях и качестве. кпк/веб/hd/... рипы, с очень сильным сжатием или "корявыми ручками" (квадратики, сглаживание), экранки. ещё трейлеры, как вариант.
Добавлено спустя 4 минуты 10 секунд: подключился к раздаче, пробуй.
Добавлено спустя 9 минут 21 секунду: тут есть. торрернт, онлайн и по прямой ссылке. только качество немного похуже и не знаю, есть ли доступ не из украины.
