roboforum.ru

Технический форум по робототехнике.

Помогу в проектировании кластерных систем.

В этом разделе обсуждаются вопросы по использованию ПК и КПК в робототехнике.
Программирование, настройка, аппаратная часть.

Re: Помогу в проектировании кластерных систем.

Сообщение elmot » 21 фев 2012, 11:19

Можно задарма использовать GoogleApp engine. Если выбор тамошних языков устраивает, конечно. Есть бесплатные квоты ресурсов.
Можно взять облачный сервер VPS скалируемый, скажем clodo.ru. там бывают проблемы с простоями, но судя по вашим словам, это врядли будет критично. Прелесть в том, что можно его заводить только когда требуется и выключать, когда не нужен. Оплата за потребленные ресурсы.
Аватара пользователя
elmot
 
Сообщения: 5691
Зарегистрирован: 10 ноя 2011, 12:02
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 21 фев 2012, 11:21

я думаю человек не имеет представления о том что под облако, особенно под распределенные вычисления нужно программировать особым методом.
Нужно читать про MPI и забыть про мечту поставить на кластер любимую программу с домашнего компьютера и она за минуту посчитает сама.
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение elmot » 21 фев 2012, 11:22

Чтобы считалось "за минуту" ПО должно хорошо прараллелиться и распределяться по компьютерам кластера. Если программа однопоточная, то счастья в облаке не будет - серверные процессоры в 1 поток врядли значительно обгонят i5. А то еще и медленнее могут оказаться.
Аватара пользователя
elmot
 
Сообщения: 5691
Зарегистрирован: 10 ноя 2011, 12:02
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья

Re: Помогу в проектировании кластерных систем.

Сообщение newrobot » 21 фев 2012, 13:24

У меня есть ПО. Нужно прогнать его 1 000 000 раз с разными параметрами.

Работа ПО занимает от 1 до 5 минут.

Оно прекрасно паралелится.

Как мне быть?

Все написано на С++, без лишних заморочек.
newrobot
 
Сообщения: 84
Зарегистрирован: 05 янв 2011, 17:33

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 21 фев 2012, 13:46

прочитать что такое MPI ,
переписать софт на использование MPI
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение elmot » 21 фев 2012, 13:54

Не, ну если так в лоб, то можно особо не переписывать. Делим, скажем штук на 10 по 100000 и запускаем на 10 нодах. Найдите VPS хостера и попробуйте. Хостеры бывают с бесплатным демо-периодом
Аватара пользователя
elmot
 
Сообщения: 5691
Зарегистрирован: 10 ноя 2011, 12:02
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 21 фев 2012, 14:14

делим что ?
просто разные пекетные файлы ?
ну... можно для начала и так, только это не кластер :)
это использование нескольких узлов параллельно
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение elmot » 21 фев 2012, 15:20

Ога. Но если поможет достигнуть цели - почему бы и нет? Правда, тут же захочется управление - чтобы раскидывать задания по узлам и собирать ответы обратно. Erlang в помощь.
Аватара пользователя
elmot
 
Сообщения: 5691
Зарегистрирован: 10 ноя 2011, 12:02
Откуда: Turku, Finland
Skype: elmot73
прог. языки: Java и все-все=все
ФИО: Илья

Re: Помогу в проектировании кластерных систем.

Сообщение newrobot » 29 фев 2012, 16:08

Кто уже делал себе сервер на AWS?

Что вы о нем думаете?

Сложно ли там поднять MS server 2008 ?
newrobot
 
Сообщения: 84
Зарегистрирован: 05 янв 2011, 17:33

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 29 фев 2012, 16:12

какой нафиг MS :shock:
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение newrobot » 29 фев 2012, 21:23

Можно ли через AWS получить какой нибудь сервер под винду? Или там только юниксы и линуксы?
newrobot
 
Сообщения: 84
Зарегистрирован: 05 янв 2011, 17:33

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 29 фев 2012, 21:45

там нет серверов.
там аплоад на расчёт распределенной задачи, которую HPC облако решает таким количеством ресурсов, которые куплены контрактом.

Добавлено спустя 2 минуты 44 секунды:
пример для понимания: спец облако от компании netfabb заточенное под исправление геометрии stl файлов http://cloud.netfabb.com/
задачей для облака является исходный файл, результатом файл исправленый.
так же в облако HPC отправляется файл задачи и блок исходных данных и забирается результат
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение newrobot » 01 мар 2012, 12:47

Моя ситуация.
Я купил хостинг у провайдера. Но нагрузка на него растет стремительно.

Может ли мой провайдер возмутиться, что мол я плачу копейки, а при этом очень сильно нагружаю его сервер?

Или лучше купить свой виртуальный сервер на AWS?
newrobot
 
Сообщения: 84
Зарегистрирован: 05 янв 2011, 17:33

Re: Помогу в проектировании кластерных систем.

Сообщение setar » 01 мар 2012, 12:52

это невозможная ситуация, вы можете взять ровно столько нагрузки, сколько купили.
нагружайте машину хоть на 100% это все ваше.
Если провайдер не умеет распределять (ограничивать ) ресурсы - это его проблемы.
Аватара пользователя
setar
Site Admin
 
Сообщения: 10989
Зарегистрирован: 04 окт 2004, 12:58
Откуда: St.Petersburg
Skype: taranenko.sergey
ФИО: Сергей Тараненко

Re: Помогу в проектировании кластерных систем.

Сообщение newrobot » 01 мар 2012, 14:13

На запрос 1 страницы сейчас условно тратится 1 000 000 операций процессора.

А если у меня на запрос 1 страницы будет уходить 1 000 000 000 операций?
И таких запросов 1000 в секунду.

Что сделает провайдер, если я буду сильно грузить ему серверы. Не по трафику, а по загрузке процессоров на генерирование страниц?
newrobot
 
Сообщения: 84
Зарегистрирован: 05 янв 2011, 17:33

Пред.След.

Вернуться в Компьютеры в роботостроении

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3