roboforum.ru

Технический форум по робототехнике.
Текущее время: 10 апр 2025, 06:51

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 34 ]  На страницу Пред.  1, 2, 3  След.
Автор Сообщение
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 11:19 
Не в сети
Аватара пользователя

Зарегистрирован: 10 ноя 2011, 12:02
Сообщения: 5691
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья
Можно задарма использовать GoogleApp engine. Если выбор тамошних языков устраивает, конечно. Есть бесплатные квоты ресурсов.
Можно взять облачный сервер VPS скалируемый, скажем clodo.ru. там бывают проблемы с простоями, но судя по вашим словам, это врядли будет критично. Прелесть в том, что можно его заводить только когда требуется и выключать, когда не нужен. Оплата за потребленные ресурсы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 11:21 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
я думаю человек не имеет представления о том что под облако, особенно под распределенные вычисления нужно программировать особым методом.
Нужно читать про MPI и забыть про мечту поставить на кластер любимую программу с домашнего компьютера и она за минуту посчитает сама.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 11:22 
Не в сети
Аватара пользователя

Зарегистрирован: 10 ноя 2011, 12:02
Сообщения: 5691
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья
Чтобы считалось "за минуту" ПО должно хорошо прараллелиться и распределяться по компьютерам кластера. Если программа однопоточная, то счастья в облаке не будет - серверные процессоры в 1 поток врядли значительно обгонят i5. А то еще и медленнее могут оказаться.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 13:24 
Не в сети

Зарегистрирован: 05 янв 2011, 17:33
Сообщения: 84
У меня есть ПО. Нужно прогнать его 1 000 000 раз с разными параметрами.

Работа ПО занимает от 1 до 5 минут.

Оно прекрасно паралелится.

Как мне быть?

Все написано на С++, без лишних заморочек.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 13:46 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
прочитать что такое MPI ,
переписать софт на использование MPI


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 13:54 
Не в сети
Аватара пользователя

Зарегистрирован: 10 ноя 2011, 12:02
Сообщения: 5691
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья
Не, ну если так в лоб, то можно особо не переписывать. Делим, скажем штук на 10 по 100000 и запускаем на 10 нодах. Найдите VPS хостера и попробуйте. Хостеры бывают с бесплатным демо-периодом


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 14:14 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
делим что ?
просто разные пекетные файлы ?
ну... можно для начала и так, только это не кластер :)
это использование нескольких узлов параллельно


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 21 фев 2012, 15:20 
Не в сети
Аватара пользователя

Зарегистрирован: 10 ноя 2011, 12:02
Сообщения: 5691
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья
Ога. Но если поможет достигнуть цели - почему бы и нет? Правда, тут же захочется управление - чтобы раскидывать задания по узлам и собирать ответы обратно. Erlang в помощь.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 29 фев 2012, 16:08 
Не в сети

Зарегистрирован: 05 янв 2011, 17:33
Сообщения: 84
Кто уже делал себе сервер на AWS?

Что вы о нем думаете?

Сложно ли там поднять MS server 2008 ?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 29 фев 2012, 16:12 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
какой нафиг MS :shock:


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 29 фев 2012, 21:23 
Не в сети

Зарегистрирован: 05 янв 2011, 17:33
Сообщения: 84
Можно ли через AWS получить какой нибудь сервер под винду? Или там только юниксы и линуксы?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 29 фев 2012, 21:45 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
там нет серверов.
там аплоад на расчёт распределенной задачи, которую HPC облако решает таким количеством ресурсов, которые куплены контрактом.

Добавлено спустя 2 минуты 44 секунды:
пример для понимания: спец облако от компании netfabb заточенное под исправление геометрии stl файлов http://cloud.netfabb.com/
задачей для облака является исходный файл, результатом файл исправленый.
так же в облако HPC отправляется файл задачи и блок исходных данных и забирается результат


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 01 мар 2012, 12:47 
Не в сети

Зарегистрирован: 05 янв 2011, 17:33
Сообщения: 84
Моя ситуация.
Я купил хостинг у провайдера. Но нагрузка на него растет стремительно.

Может ли мой провайдер возмутиться, что мол я плачу копейки, а при этом очень сильно нагружаю его сервер?

Или лучше купить свой виртуальный сервер на AWS?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 01 мар 2012, 12:52 
Не в сети
Site Admin
Аватара пользователя

Зарегистрирован: 04 окт 2004, 12:58
Сообщения: 10990
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко
это невозможная ситуация, вы можете взять ровно столько нагрузки, сколько купили.
нагружайте машину хоть на 100% это все ваше.
Если провайдер не умеет распределять (ограничивать ) ресурсы - это его проблемы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Помогу в проектировании кластерных систем.
СообщениеДобавлено: 01 мар 2012, 14:13 
Не в сети

Зарегистрирован: 05 янв 2011, 17:33
Сообщения: 84
На запрос 1 страницы сейчас условно тратится 1 000 000 операций процессора.

А если у меня на запрос 1 страницы будет уходить 1 000 000 000 операций?
И таких запросов 1000 в секунду.

Что сделает провайдер, если я буду сильно грузить ему серверы. Не по трафику, а по загрузке процессоров на генерирование страниц?


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 34 ]  На страницу Пред.  1, 2, 3  След.

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB
phpBB SEO