roboforum.ru

Решил я рассказать небольшую страшилку, поскольку знаю что здесь на форуме обитает
большое количество сисадминов - как опытных так и начинающих.

Многие знают что по работе я занимаюсь серверами в компании Тринити.

Принесли мне 9 декабря знакомые ребята сервер, на котором в основном хостился сайт usedcars.ru.
Кто не знает - это сайт с посещением порядка 50000 человек в сутки с объявлениями о продаже подержаных авто, в общем крупный коммерческий ресурс.
Ситуация классическая, многошаговая:
1. на сервере (гарантийном!) был собран RAID5 (отказоустойчив к выходу уз строя 1 HDD) вышел из строя 1 диск.
В принципе ничего страшного в этом нет, рядовая ситуация, однако системный администратор, в силу огромного количества причин, не мог целый месяц добраться до сервера чтобы поменять винт.
2. добравшись до ещё рабочего сервера админ резонно решил что пора бы сделать бакап, и начал сливать данные на внешний USB HDD
3. возросшая нагрузка на рейд привела к отвалу и умиранию ещё одного hdd и следовательно потере всей информации (13 лет работы сайта!)

В таком состоянии сервер попал ко мне в руки.
Большия счастьем я считаю что ребятам из Q-lab удалось на время реанимировать умерший последним диск.
Казалось бы - вот оно счастье...
начинаем копировать данные - рядовая операция, ну на пару часов максимум. Это уже было под конец дня 8 дек.
Было решено оставить копирование данных на ночь чтобы с утра сохраненные данные перелить обратно на рейд из новых винтов.

С утра счастья не наступило - весь диск назначения был забит мусором из одного каталога который из за сбоя на реанимированном винте замкнулся рекурсивно сам на себя и при попытке его скопировать многократно вложенно дублировался.
Пришлось начинать всю процедуру заного с правилами исключения, к слову сказать одно только удаление этой рекурсии заняло почти час.
Ну да ладно, перепрыгнули рекурсию и снова грабли - в самом важном месте сайта есть католог, в который складывались картинки машин из объявлений... 13 лет подряд в один и тот же каталог...
В общем линукс сильно поднялся в моих глазах когда он смог переварить 1млн. 300тыс. файлов в одном каталоге ! (прграммера расстрелять за такое )
Пережевывался этот каталог 4 часа!
Надеюсь к завтрешнему обеду сайт снова заработает.
Прямых убытков тысяч примерно на 10р , что было бы если не удалось поднять винт последний умерший, просто страшно представить.

Выводы делайте сами, товарищи опытные и начинающие Админы ...

...тысяч примерно на 10р

ерунда
болванки на ежемесячные бэкапы дороже бы встали

зачем болванки? достаточно аренды места у провайдра
или на крайняк тот же USB внешний винт, у него нагрузка мизер и живучесть - больше

ой, я тут недавно себе притащил домой сервак, тама как раз рейд контроллер с корзинкой на 5 винтов
вот терь ищу где бы 5 винтов scsi надыбать хотябы по 3Гб каждый, чтоп замутить там рэйд и помастурбировать повникать хотябы слегка что и как.
на старой работе рэйд был, а потом что-то сглючило, мы посмотрели, покурили, сказали "мда", и решили больше с рэйдом не связываться.

ЗЫ
щас у нас на работе тупо зеркало. но я всё равно ни алё как оно там крутится

про рейд для чайников на хоботе много написано кстати.

Я "Acronis тру имэйдж хоум" поставил - бэкапит сам когда я за компиком не активен. Установка Винды "как новая" но со всеми нужными програми из образа ровно 6 минут после включения ПК. Хорошая прога для бэкапа.

бакап любой хорош когда он есть

2Мур я попробую поискать scsi винтов

Я вот, честно, не очень понимаю такие ситуации вообще.
Ну как бы 5й рейд, на мой взгляд, изначально технология для бедных, ибо уж на чем-на чем, а на банальном зеркале жадничать не стоит.
О потенциальной смерти винтов давно умеют сообщать все минимально приличные сервера (а вот не надо покупать супермикро и прочие странные поделки, ибм нормальный стоит не так уж и дорого). Когда в мониторинг пришло рейд фейл - как можно вообще на это сразу не отреагировать - представить себе не могу! С тем же успехом можно изначально было рейдов не делать никаких.
А еще, самое главное, не надо экономить на винтах =) Покупать sata винты в сервера - себе дороже. Из серверного парка в больше ста серверов за последние полгода умерло 4 или 5 дисков(и, кстати, о каждом сервер честно заранее предупредил), и все - sata'шные. Ни одного SAS'овского диска не умерло. Да, они дороже, зато надежнее ощутимо.
Про бекап я как бы вообще молчу. Болванки там, юсб-винты, дисковые стойки, лента - пофигу, главное чтобы бекапы были. Причем, как справедливо заметил setar, большинство датацентров сейчас предоставляют услуги по бекапу.

В общем из этой сказки можно мораль тока одну вынести, не слишком лицеприятную для админа этого ресурса..

Добавлено спустя 1 минуту 32 секунды:
ps: по поводу scsi винтов, есть у меня сервак с 4 или 5 скази дисками по 36гб вроде, стоит щаз без дела за моральной устарелостью, можно списать по остаточной стоимости.

И я в общую копилку )))

Купили сервер под проект с 5 дисками обеденеными в 5 Raid.
За 2 дня(примерно 3 недели эксплуатации) до сдачи проекта он взял и умер с интервалом в 2 часа 2 диска ((
сервер практически пустой только SQL установлен, но все базы в инит состоянии без данных.
Фирма поставщик сказала что так не бывает - везите его на диагностику ...
Так как сроки горят поволок его сам на восьмерке секретарши ...
Там включили и умер еще один диск ...
Заменили все пять на другую фирму
А я на след день ущел на больничный ... пока таскал этот ящик сдвинул диск в позвоночнике

Берегите себя!!!

Ну как бы 5й рейд, на мой взгляд, изначально технология для бедных, ибо уж на чем-на чем, а на банальном зеркале жадничать не стоит.

не совсем и не всегда, попробуй представить рейд из 12, 24 или более дисков, а теперь представь что это диски качественные, например FibreChannel. Так вот, стоимость каждого диска такого около штуки $ и если у тебя половина из массива будет в зеркале это не то чтобы нерационильно - это с жиру беситься.
Сейчас там будет RAID10.

а вот не надо покупать супермикро и прочие странные поделки, ибм нормальный стоит не так уж и дорого

зря так, микра хорошо делает, а ИБМ ровно в 3 раза дороже, оно конечно того стоит если нужно сказать "ну уж если ИБМ сломался то я то тут причем, круче не бывает" - это называется качественно прикрыть зад
ещё ИБМ хорош за сервис по всей россии - тут без конкурентов, если например на север куда нибудь техника засылается то без вариантов нужно его брать.
в общем выбор бренда сервера - тоже очень тонкое дело, как всегда нужно идти от задач и финансов.

А еще, самое главное, не надо экономить на винтах =) Покупать sata винты в сервера - себе дороже.

тоже заблуждение - есть сата которая десктопная, и есть серверная (примерно в два раза дороже). Так что перефразирую: не нужно ставить десктопные винты в сервер!

Ни одного SAS'овского диска не умерло. Да, они дороже, зато надежнее ощутимо.

тоже мрут, но на порядок меньше - тут соглашусь. ведь sas - прямой технологический потомок scsi тогда как sata - потомок ide

Добавлено спустя 2 минуты 31 секунду:

SkyStorm писал(а):умер с интервалом в 2 часа 2 диска ((

Сейчас на рынке россии гуляет провальная серия Сигейтов, серия 7200.12 кака полная,
из коробки примерно 2/3 брака после первого форматирования!

не совсем и не всегда, попробуй представить рейд из 12, 24 или более дисков, а теперь представь что это диски качественные, например FibreChannel. Так вот, стоимость каждого диска такого около штуки $ и если у тебя половина из массива будет в зеркале это не то чтобы нерационильно - это с жиру беситься.

эм, ща в общей сложности 5 полок по 12 дисков, во всех 15к SAS диски, все в первом рейде. На одной скоро будет 5й рейд - но там данные будут жить статические, хоть и много, бекап можно делать удобно дифференциальный. Конечно fibrechanel диски жалко, но их и не ставят, имхо, полными полками, за очень редким исключением. А когда нагрузка на систему такая, что нужны такие диски и в таких количествах - значит система приносит достаточно денег для их покупки.

зря так, микра хорошо делает, а ИБМ ровно в 3 раза дороже, оно конечно того стоит если нужно сказать "ну уж если ИБМ сломался то я то тут причем, круче не бывает" - это называется качественно прикрыть зад

эээ... покажи мне где можно купить двухпроцессорную супермикру на нахелемах(пусть даже 5504) с двумя сас дисками и все это за штуку баксов - под офисные нужды закуплю с удовольствием =) а если серьезно, то может мне не везло, но те супермикры, что мы смотрели - нужно было покупать отдельно нормальный рейд контроллер, а проблемы с их BMC не личились в принципе никак. По надежности общей судить не готов, ибо под нагрузку в прод не ставили.

тоже заблуждение - есть сата которая десктопная, и есть серверная (примерно в два раза дороже). Так что перефразирую: не нужно ставить десктопные винты в сервер!

не, ну само собой речь о серверных сата винтах.. ибм не разрешает в свои сервера другие ставить =) надежность на порядок ниже SASа все равно. А цена.. по моему опыту разница между сата и сас на объемах около 146гб составляет 50-70 баксов с винта.. по-моему не так уж много за надежность самой частомрущей части сервера. Так что лично я для себя зарекся теперь - тока сас винты.

тоже мрут

все мрут.. но эти - реже =)