roboforum.ru

Технический форум по робототехнике.

Помогу в проектировании кластерных систем.

Re: Помогу в проектировании кластерных систем.

elmot » 21 фев 2012, 11:19

Можно задарма использовать GoogleApp engine. Если выбор тамошних языков устраивает, конечно. Есть бесплатные квоты ресурсов.
Можно взять облачный сервер VPS скалируемый, скажем clodo.ru. там бывают проблемы с простоями, но судя по вашим словам, это врядли будет критично. Прелесть в том, что можно его заводить только когда требуется и выключать, когда не нужен. Оплата за потребленные ресурсы.

Re: Помогу в проектировании кластерных систем.

setar » 21 фев 2012, 11:21

я думаю человек не имеет представления о том что под облако, особенно под распределенные вычисления нужно программировать особым методом.
Нужно читать про MPI и забыть про мечту поставить на кластер любимую программу с домашнего компьютера и она за минуту посчитает сама.

Re: Помогу в проектировании кластерных систем.

elmot » 21 фев 2012, 11:22

Чтобы считалось "за минуту" ПО должно хорошо прараллелиться и распределяться по компьютерам кластера. Если программа однопоточная, то счастья в облаке не будет - серверные процессоры в 1 поток врядли значительно обгонят i5. А то еще и медленнее могут оказаться.

Re: Помогу в проектировании кластерных систем.

newrobot » 21 фев 2012, 13:24

У меня есть ПО. Нужно прогнать его 1 000 000 раз с разными параметрами.

Работа ПО занимает от 1 до 5 минут.

Оно прекрасно паралелится.

Как мне быть?

Все написано на С++, без лишних заморочек.

Re: Помогу в проектировании кластерных систем.

setar » 21 фев 2012, 13:46

прочитать что такое MPI ,
переписать софт на использование MPI

Re: Помогу в проектировании кластерных систем.

elmot » 21 фев 2012, 13:54

Не, ну если так в лоб, то можно особо не переписывать. Делим, скажем штук на 10 по 100000 и запускаем на 10 нодах. Найдите VPS хостера и попробуйте. Хостеры бывают с бесплатным демо-периодом

Re: Помогу в проектировании кластерных систем.

setar » 21 фев 2012, 14:14

делим что ?
просто разные пекетные файлы ?
ну... можно для начала и так, только это не кластер :)
это использование нескольких узлов параллельно

Re: Помогу в проектировании кластерных систем.

elmot » 21 фев 2012, 15:20

Ога. Но если поможет достигнуть цели - почему бы и нет? Правда, тут же захочется управление - чтобы раскидывать задания по узлам и собирать ответы обратно. Erlang в помощь.

Re: Помогу в проектировании кластерных систем.

newrobot » 29 фев 2012, 16:08

Кто уже делал себе сервер на AWS?

Что вы о нем думаете?

Сложно ли там поднять MS server 2008 ?

Re: Помогу в проектировании кластерных систем.

setar » 29 фев 2012, 16:12

какой нафиг MS :shock:

Re: Помогу в проектировании кластерных систем.

newrobot » 29 фев 2012, 21:23

Можно ли через AWS получить какой нибудь сервер под винду? Или там только юниксы и линуксы?

Re: Помогу в проектировании кластерных систем.

setar » 29 фев 2012, 21:45

там нет серверов.
там аплоад на расчёт распределенной задачи, которую HPC облако решает таким количеством ресурсов, которые куплены контрактом.

Добавлено спустя 2 минуты 44 секунды:
пример для понимания: спец облако от компании netfabb заточенное под исправление геометрии stl файлов http://cloud.netfabb.com/
задачей для облака является исходный файл, результатом файл исправленый.
так же в облако HPC отправляется файл задачи и блок исходных данных и забирается результат

Re: Помогу в проектировании кластерных систем.

newrobot » 01 мар 2012, 12:47

Моя ситуация.
Я купил хостинг у провайдера. Но нагрузка на него растет стремительно.

Может ли мой провайдер возмутиться, что мол я плачу копейки, а при этом очень сильно нагружаю его сервер?

Или лучше купить свой виртуальный сервер на AWS?

Re: Помогу в проектировании кластерных систем.

setar » 01 мар 2012, 12:52

это невозможная ситуация, вы можете взять ровно столько нагрузки, сколько купили.
нагружайте машину хоть на 100% это все ваше.
Если провайдер не умеет распределять (ограничивать ) ресурсы - это его проблемы.

Re: Помогу в проектировании кластерных систем.

newrobot » 01 мар 2012, 14:13

На запрос 1 страницы сейчас условно тратится 1 000 000 операций процессора.

А если у меня на запрос 1 страницы будет уходить 1 000 000 000 операций?
И таких запросов 1000 в секунду.

Что сделает провайдер, если я буду сильно грузить ему серверы. Не по трафику, а по загрузке процессоров на генерирование страниц?


Rambler\'s Top100 Mail.ru counter