RAID как обязательный атрибут сервера

Сегодня производители жёстких дисков ведут очень жёсткую конкурентную борьбу между собой. В этой борьбе они вынуждены увеличивать объёмы своих винчестеров, выпуская всё большие и большие по объёмам диски. К сожалению, в противовес объёму носителей зачастую ставится их надёжность. Большинство производителей HDD уже снизили сроки гарантии на свои винчестеры до одного года, а это означает, что надёжность дисков падает. И теперь ситуация выглядит таким образом, что пользователь может хранить на винчестере большие объёмы информации, но не может быть за неё спокоен, ведь снижение сроков гарантии происходит не просто так - новые запатентованные технологии, применяемые в винчестерах, зачастую приводят к снижению надёжности диска. Так как выбор среди различных марок винчестеров небольшой, то пользователю зачастую не остаётся ничего, как покупать эти самые новые, большие винчестеры, даже если окажется, что они проработают не больше чем полгода. Резервное копирование данных не всегда может помочь, так как сохранить сотни гигабайт сегодня могут, разве что, ленточные накопители, являющиеся почти что экзотикой. Выход есть - RAID массивы, которые не только увеличивают производительность дисковой подсистемы компьютера, но и повышают её надёжность. Конечно же, SCSI диски по сравнению с IDE дисками имеют намного большую производительность и надёжность, но даже сегодня SCSI устройства остаются слишком дорогими не только для обычных пользователей, но и для компаний, желающих собрать недорогие серверы. К сожалению, стоимость одного мегабайта SCSI винчестеров несравнимо выше стоимости мегабайта IDE HDD. Про диски с Serial ATA говорить ещё рано: на сегодняшний день этот стандарт ещё очень слабо распространён - материнские платы только обзаводятся встроенными контроллерами Serial ATA, а винчестеры с поддержкой этого стандарта отличаются от IDE-винчестеров, разве что электроникой, так что говорить о каком-либо увеличении надёжности так же не приходится. Поэтому, де-факто, сегодня RAID массивы на IDE винчестерах являются отличным выбором для тех, кому нужна большая производительность, чем та, которую готов дать обычный винчестер и большая надёжность. На рынке присутствуют десятки моделей IDE винчестеров, все они могут использоваться в RAID массивах, да и с контроллерами недостатка в ассортименте нет: многие материнские платы среднего уровня и почти все материнские платы для компьютерных энтузиастов имеют встроенные ATA-133 RAID контроллеры, и в случае необходимости можно приобрести отдельную плату-контроллер от известных производит. В RAID массив объединяются несколько физических дисков, в результате чего эти диски управляются одним контроллером и рассматриваются системой как один массив, то есть, как один диск. В результате увеличивается либо производительность массива, либо надёжность по сравнению с одним диском, либо и то и другое. При объединении винчестеров в RAID массив, возможны различные конфигурации построения массива, в зависимости от того, по каким принципам контроллер будет работать с каждым винчестером. Различают несколько уровней RAID массивов: RAID 1 - Предназначен для тех, кому крайне важна информация на жёстком диске, а динамическое её изменение делает невозможным постоянное резервное копирование. RAID первого уровня, использует зеркалирование, то есть, контроллер дублирует содержимое одного винчестера на другой, чтобы в случае выхода из строя одного из носителей, на втором осталась точная копия содержимого первого, елей и использовать её для создания RAID массива. В этой статье мы рассмотрим преимущества, которые представляют нам RAID массивы и сравним четыре IDE RAID контроллера от таких производителей, как 3ware, Adaptec, HighPoint и Promise.

Ликбез по RAID

Прежде всего, что же такое RAID? Эта ставшая уже нарицателependent Disks (Избыточный Массив Недорогих Дисков или Избыточный Массив Независимых Дисков). Как расшифровывать это сокращение - выбирать вам, поскольку пользователь может построить RAID-массив как из недорогих винчестеров с частотой вращения шпинделя 5400 оборотов в минуту, так и из дорогих высокопроизводительных SCSI дисков с частотой вращения шпинделя 15 000 оборотов в минутуто есть, такой вот бэьным аббревиатура, расшифровывается как Redundat Array of Inexpensive Disks или как Redundant Array of Indкап, который создаётся в реальном времени. К сожалению, RAID 1 не может защитить от поражения информации вирусами, или другой потери информации по вине операционной системы или программного обеспечения. RAID 1 увеличивает ресурс дисковой подсистемы, её время наработки на отказ. Едва ли два винчестера выйдут из строя одновременно (если им не помочь), а если сломается один из них, то его стоит просто заменить на новый и RAID контроллер восстановит функционирование массива.

При установке двух винчестеров в RAID 1, операционная система видит лишь один логический диск, так как данные на двух винчестерах дублируются. И ёмкость RAID массива первого уровня будет равна ёмкости одного из винчестеров в составе массива.

RAID 0 - Можно сказать, что RAID 0 является противоположностью RAID 1. В случае установки винчестеров в RAID массив нулевого уровня, контроллер так же использует несколько физических дисков как один логический, распределяя записываемую информацию по каждому из них. RAID 0 так же принято называть "Stripping", потому что контроллер как бы разбрасывает записываемую информацию сразу на несколько винчестеров, но не дублирует её, как в случае с зеркалированием. В результате объём дисковой подсистемы возрастает вместе с риском потери информации, так как выход из строя одного любого винчестера а RAID массиве нулевого уровня приводит к потере данных всего массива. То есть, RAID 0 массив из двух винчестеров будет в два раза ненадёжнее, чем любой из этих винчестеров и в четыре раза ненадёжнее чем RAID 1 массив из тех же двух винчестеров.

Но преимущества RAID 0 в том, что объём дискового массива нулевого уровня будет складываться из объёмов всех винчестеров, входящих в массив. Это немаловажно, если вы работаете с огромными файлами (базы данных или видеофайлы), которые просто не могут уместиться на одном физическом диске, но отлично разместятся на одном логическом, собранном RAID-контроллером из двух.

RAID 10/0+1 - RAID массив 10 уровня и RAID 0+1 схожи в том, что использование этих массивов приводит к увеличению производительности и надёжности, так как эти массивы комбинируют в себе возможности RAID 0 и RAID 1, хотя делают это по разному. RAID 10 распределяет информацию по зеркалированным дискам, а RAID 0+1 является массивом, состоящим как бы из из двух зеркалированных друг относительно друга RAID 0 массивов. В случае RAID 10 мы имеем дело с распределением по зеркалам, а в случае с RAID 0+1 - с зеркалированием распределённой информации. Хм... это не одно и то же...

В случае с RAID 0+1 и RAID 10 объём массива будет равняться половине суммы объёмов всех входящих в массив носителей. Каждый из винчестеров будет иметь свою "зеркальную пару", на которой будет храниться та же информация, что и на нём, так что логически работа будет производиться только с половиной винчестеров, хотя физически будут использоваться все.

Ну а что же по надёжности? В случае выхода из строя одного винчестера в RAID 0+1 массиве состоящем из четырёх винчестеров, будут потеряны сразу два винчестера и в работе останется лишь половина RAID 0+1, то есть, RAID 0 массив, распределённый по двум дискам, а он, как известно, имеет в два раза меньшую надёжность, чем один винчестер. Так что лучше поскорее заменить вышедший из строя диск. В этом плане RAID 10 намного надёжнее, так как позволяет выходить из строя нескольким дискам в разных зеркалах. Правда, если в RAID 10 выйдут из строя два винчестера, являющиеся зеркалами друг друга, то массив перестанет функционировать.

RAID 5 - Этот тип массива распределяет информацию по нескольким винчестерам, как и в RAID 0, но при этом учитывает чётность. Индекс чётности хранится на каждом диске, входящем в массив. Проверка чётности немного снижает производительность RAID 5 массива в целом, но значительно увеличивает надёжность по сравнению с другими уровнями RAID. Если в массиве пятого уровня один из дисков выходит из строя, контроллер восстанавливает массив, используя индексы чётности, читаемые с других физических дисков.

Объём массива RAID пятого уровня зависит от числа физических дисков, объединённых в логические. Объём индекса чётности в RAID 5 равен объёму одного из физических дисков. Чем больше винчестеров в массиве, тем меньше будет процентное соотношение объёма индексных файлов по отношению к объёму всего массива. При использовании четырёх винчестеров, объединённых в RAID 5, объём массива будет равен сумме объёмов трёх из них, так как на каждом из винчестеров 25% будет занято индексом чётности.

Таким образом, мы видим, что RAID 0 даёт пользователю наибольшую производительность, за которую приходится платить наименьшей надёжностью массива, даже меньшей, чем надёжность одного диска. И чем больше винчестеров будет объединено в массив, тем меньше будет его надёжность. RAID 1 наоборот увеличивает надёжность, но не даёт прироста в производительности и объём массива будет в два раза ниже, чем суммарный объём всех винчестеров, входящих в его состав. RAID 10 и RAID 0+1 так же позволяют использовать лишь половину объёма всех винчестеров, но повышают при этом производительность и надёжность дисковой подсистемы. RAID 5 является как бы универсальным способом по надёжности и использованию объёма входящих в состав винчестеров, но использование этого способа снижает производительность дисковой подсистемы.

Какой уровень RAID выбрать, зависит лишь от степеней задач, решаемых сервером и той суммы, которую вы готовы заплатить за сервер в целом. Для обеспечения большей надёжности требуется большее число винчестеров и более мощный RAID контроллер, а это приводит к использованию больших по размерам серверных корпусов с более мощными блоками питания. Однако, затраты на всё это оборудование могут показаться ничтожными по сравнению с убытками, понесёнными в результате выхода из строя одного из винчестеров, что приведёт к потере всего массива. Вот почему сегодня RAID-массивы являются непременным атрибутом всех серверов, всех рабочих станций и уже значительной части домашних компьютеров.

Тенденции развития и классификация дисковых массивов - RAID российского производства. Существующая тенденция увеличения объема различных баз данных и одновременное повышение требований к надёжности этих баз всё больше вынуждают менеджеров различных информационных систем (ИС) задумываться о возможных путях решения этих двух взаимосвязанных проблем.Одним из естественных путей решения этих задач является использование концепций RAID - (Redundant Arrays of Inexpensive Disks).Данная статья, прежде всего, адресована, тем, кто только начинает интересоваться массивами дисков, их возможностями, а также, вариантами существующих решений повышения надёжности ИС при использовании RAID систем.Существует целый ряд документов, описывающих данный предмет с большей глубиной. Не имея возможности подробно остановиться в данной статье на истории появления RAID, кратко обьясним суть Технологии RAID. Структурная схема RAID представлены на рисунке 1.

В соответствии с рисунком 1, физически RAID это набор независимых дисков, которые с помощью специального контроллера обьеденены в единый массив функционирующий как один накопитель. Контроллер, используя заложенные в него соответствующие стандарты и технологии, обеспечивает реализацию различных уровней RAID и логическое распределение физического пространства дисков на логические диски (или диск). Причём, в зависимости от выбранного способа реализации (уровня), эти диски (или диск) могут повысить скорость доступа к файлам и передачи данных, изменить степень защищённости последних и отказоустойчивость всей дисковой подсистемы.

Суть RAID заключается в том, что данные равномерно распределяются по нескольким жёстким дискам с использованием метода, известного как “метод расслоения накопителей”, причём, при этой операции вычисляется четность, “расщеплённых “ данных и сведения о ней сохраняется на одном из дисков. Информация о чётности позволяет системе RAID математически воссоздать данные, которые могут быть утеряны при отказе одного из накопителей.

В настоящее время имеется около десяти типов, или уровней, RAID, и в комитет по стандартизации дисковых массивов RAID Advisory Board, постоянно поступают всё новые и новые варианты. Но всё-таки, как бы то ни было, на текущий момент уровни RAID с 0 по 5 и некоторые возможные их комбинации нашли наибольшее применение.

Каждый из уровней имеет свои сильные стороны, обеспечивая или более высокие скорости, или исключительную ёмкость дисковой памяти, или повышенную отказоустойчивость.

Система, сконфигурированная как RAID нулевого уровня, использует массив “расслоённых” дисков, на который данные записываются с расщеплением и распределяются по нескольким дискам. Правда, RAID уровня 0 – это ещё не “настоящий” RAID, так как не обеспечивает отказоустойчивости: выход одного из дисков приводит к потере данных во всём массиве.

Система в конфигурации RAID первого уровня, чтобы обеспечить отказоустойчивость, использует зеркальное отображение и дублирование. Данные записываются одновременно на два диска: если один из них откажет, информация сохранится на другом. Такая конфигурация обеспечивает удвоенную скорость считывания, однако, время записи здесь такое же, как и с одним диском. Конфигурация RAID уровня 1 связанна с самыми большими материальными издержками.

RAID второго уровня использует контроль кода Хэмминга с коррекцией ошибок (ЕСС) для их исправления “на ходу”. Такая конфигурация обеспечивает высокий уровень интеграции данных с помощью расщепления их на уровне битов. Высокое соотношение количества дисков с ЕСС и дисков с данными очень сильно удорожает RAID-2, такая конфигурация становится большой редкостью.

RAID третьего уровня обеспечивает избыточность расщеплением данных на уровне байтов и сохранением информации о чётности на выделенных ЕСС дисках. Сравнительно небольшое соотношение ЕСС – накопителей и накопителей данных позволяют считать RAID третьего уровня горазда более экономичным решением. RAID-3 обеспечивает высокую скорость считывания, особенно в случае больших последовательных файлов; при отказе одного из дисков производительность практически не снижается. А вот скорость записи систем RAID на третьем уровне в лучшем случае не выше, чем у обычного диска, что определяется “узким местом” – использования ЕСС при сохранении информации о чётности.

RAID уровня четыре построена аналогично RAID-3, за тем исключением, что данные распределяются здесь поблочно, а не по байтам. Если объём обновляемых данных невелик и не требуется обращения ко всем дискам данных, то оказывается достаточно четырёх запросов к дискам: двух запросов на считывание прежних данных и информации о чётности, чтобы вычислить новое значение по контролю чётности, и двух – на запись новых данных и информации о чётности.

RAID уровня пять распределяет информацию о чётности равномерно по всем дискам в группе контроля чётности. Это полностью оправдывает себя при интенсивной обработке транзакций, для которой характерен одновременный перенос множества мелких фрагментов данных. Если возникнет отказ диска, это повлияет на производительность системы RAID-5, так как потребуется обработка отсутствующих данных “на ходу”. Мало того, после замены отказавшего диска восстановление может занять значительное время, но система, естественно, сохранит работоспособность.

4. С точки зрения надёжности сохранности данных, внешние системы (SCSI-to-SCSI) являются более надёжными и наиболее подходящими при организации кластера.

В настоящее время, практически все производители RAID массивов в своих продуктах предусматривают возможность настройки устройств на конфигурации RAID всех выше перечисленных уровней (за исключением уровня 2). Поэтому комитет RAID Advisory Board предлагает заменить классификацию RAID по уровням 0-5 новой классификацией:

FRDS – Failure Resistant Data Systems (Отказоустойчивые системы) предназначены для защиты данных при сбое одного компонента системы или одного диска. FRDS+ дополнительно имеет автоматическую “горячую” замену дисков и защиту данных от сбоев кэша или источника питания.

FTDS – Failure Tolerant Disk System (Безотказная дисковая система) гарантирует непрерывную доступность данных в случае сбоя одного из компонентов системы. FTDS+ имеет дополнительную защиту от сбоев хоста, шины ввода-вывода и источника питания. FTDS+ требует “горячей” замены главных компонентов и соединения по крайней мере с двумя хостами двумя разными шинами.

DTDS – Disaster Tolerant Disk System (Устойчивая к катастрофам дисковая система) должна быть разделена на несколько подсистем, расположенных в различных зонах, что обеспечивает доступ к данным даже в случае полного выхода из строя одной из подсистем. Защита предусматривает также перебои с питанием, нарушение системы охлаждения и отсоединение кабелей питания и шин. В DTDS+ дистанция между зонами должна быть не менее одного километра.

Теперь немного об имеющихся предложениях RAID – систем на компьютерном рынке Москвы и России.

Этот рынок, практически, можно разделить на две основные составляющие:

1. Дисковые массивы Brand name, производства таких фирм, как ЕМС, IBM, Sun Microsystems, Compaq, HP, SGI и других.

Особенно не вдаваясь в подробности, можно сказать, что все RAID – системы данных производителей в основном предназначены для подключения к платформам своего производства и действительно прекрасно функционируют в различных решениях этих фирм.

Хотя в последнее время, по заявлениям в прессе, большинство из этих компаний стремятся сделать свои RAID - системы доступными для всех платформ.

2. RAID – системы производства российских фирм.

С точки зрения российского потребителя эта часть рынка особенно интересна, так как цены RAID – систем российского производства значительно ниже цен систем производимых brand name - компаниями. В специализированных изданиях регулярно публикуются обзоры, посвящённые RAID-массивам зарубежного производства, в то же время отечественные компании, производящие собственные дисковые массивы долгое время оставались в тени. Поэтому хотелось бы более подробно остановиться на современных подходах в реализации RAID-систем российского производства.

Если придерживаться предлагаемой RAID Advisory Board классификации, то, следуя этой классификации, приблизительно 95 % RAID – систем производимых в России, относятся к первой группе (FRDS).

Далее хотелось бы более подробно остановиться на преимуществах и недостатках различных RAID-систем, относящихся к разным группам:

В большинстве предлагаемых конфигураций используются внутренние (host-based) контроллеры MYLEX DAC960 (Примерная схема RAID - систем этого класса представлена на Рис.2.).

Ничего плохого сказать об этих контроллерах нельзя, но при нынешней моде к сплошной кластеризации (а кластеризация имеет смысл только в том случае, если у вас внешняя система памяти) эти системы в организацию кластеров как-то не вписываются.

Незначительное число производителей предлагают конфигурации, в которых используются внешние (SCSI-to-SCSI) контроллеры. Выбор контроллеров для таких систем не очень велик и здесь используются обычно контроллеры IFT, CMD и, довольно редко, одна из самых дорогих моделей внешний MYLEX - DAC960SX (Схема RAID-системы этого класса представлена на Рис.3.)

С контроллерами этого типа, особенно интересны системы использующие последние технологические проработки, позволяющие применять SCA-2 диски. К примеру, RAID-системы на базе внешнего контроллера IFT-3102UA с дисками SCA-2, при работе в среде Novell, обеспечили скорость передачи 32Мб/сек.)

Если, вновь вернуться к классификации RAID Advisory Board, то, рассмотренные выше, RAID – системы можно на 80% отнести к группе FRDS+ и совсем незначительную долю группы- к классу FTDS. Причём, для организации кластеров, особенно интересны RAID – системы использующие внешний контроллер фирмы CMD (США) CRD-5640 (Схема котроллера представлена на Рис. 4.)

представлен вариант подключения RAID-системы к двум хостам, а в таблице 5-1 состояние системы для этого примера.

Конфигурация, представленная на Рис.5, поддерживает двухпортовую хост-среду, что эквивалентно использованию такой системы в следующих кластерных конфигурациях:

Уверенно можно заявить, что большинство систем российского производства, в своих классах, ни в коем случае не уступают системам других производителей, а по цене несколько превосходят. К сожалению, можно лишь констатировать, что российским производителям RAID – систем не хватает рекламы.

Нельзя промолчать о RAID – системах, использующих технологию Fibre Channel.

На российском рынке предложения на такие системы есть только от внешних поставщиков. По сравнению со стандартами SCSI и Ultra/Wide SCSI протокол Fibre Channel обладает двумя преимуществами. Одно из них – производительность. Если интерфейс SCSI обеспечивает пропускную способность 20 Мбайт/с, а Ultra/Wide SCSI - 40 Мбайт/с, то у Fibre Channel этот показатель составляет 100 Мбайт/с. Обладая такой высокой проиводительностью, Fibre Channel позволяет соединять устройства, находящиеся на значительно большем расстоянии, чем предусматривает стандарт SCSI или Ultra/Wide SCSI. Ещё одно преимущество состоит в том, что на одной линии Fibre Channel можно разместить до 120 накопителей, тогда как SCSI и Ultra/Wide SCSI допускают установку только 15 устройств. Это позволяет применять Fibre Channel для построения сверхбольших подсистем памяти (до 120 накопителей). Недостаток Fibre Channel, в настоящее время, – цена. Отсутствие предложений на контроллеры, поддерживающие эту технологию, сдерживает появление российских RAID - систем с Fibre Channel.

Кроме того, в последнее время на рынке появились предложения на дисковые массивы с технологией “IDE –to- SCSI”. Системы, использующие эту технологию, имеют преимущество в цене (различие цен на SCSI и IDE диски), но значительно проигрывают по такому важному параметру, как скорость переноса данных. В связи с этим можно довольно обоснованно предположить, что область их применения весьма ограниченна.

Некоторые аспекты выбора RAID – систем. В большинстве случаев, RAID – система производится под заказ и, поэтому, заказчику довольно легко сделать выбор необходимой конфигурации. Стандартная RAID-система состоит из следующих компонентов:

Рис 6. Зависимость стоимости RAID от объема

Рис. 7 Зависимость стоимости 1Мб от Обьёма

Несмотря на то, что в данной статье затронуты лишь некоторые аспекты применения RAID-систем, можно уверенно сказать: