Конечно нельзя не упомянуть ПО для репликации (replication) данных, которое часто называют зеркалированием (mirroring). Это механизм синхронного или асинхронного реплицирования (дублирования) информации с одной системы хранения на одну или несколько удалённых систем хранения. Репликация возможна по различных каналам – к примеру, стойки с интерфейсами FibreChannel могут асинхронно, через Интернет и на большие расстояния, реплицироваться на другую СХД. Такое решение обеспечивает надёжность хранения информации и защиту от катастроф. Все мы помним 11 сентября в США, когда были полностью разрушены два здания Всемирной Торговой Организации (WTC) – при этом были безвозвратно утеряны огромные объёмы данных. Реплицирование на удалённые площадки, создание резервных ВЦ позволяет избежать потери данных при катастрофах, они ведь не так редки, как кажется – обычный пожар может уничтожить все данные в любой самой совершенной системе хранения. Ну конечно, не стоит забывать и про обычное резервное копирование, даже реплицирование – не панацея от всех бед.
Кроме всех перечисленных механизмов, существует большое число других возможностей манипуляций данными, которые зачастую невозможно осуществить вне дисковой стойки. К примеру, миграция данных с одной LUN на другой без остановки системы и без прерывания работы. Например, администратора перестала устраивать скорость работы LUN, находящегося на RAID уровня 5, и он решил переместить все данные на RAID 10, состоящий из большего числа дисков. Задача в обычных условиях нетривиальная, однако некоторое оборудование позволяет осуществить такую операцию незаметно для хостов – постепенно, с заданным приоритетом, данные внутри системы хранения копируются (мигрируют) с одного LUN на другой (с RAID5 на RAID10), после полной синхронизации и незаметно для пользователей сама система переключает все хосты, работающие с первым LUN на второй, то есть самостоятельно производит нужную переконфигурацию системы. Администратору остаётся только перераспределить место, занимаемое первым LUN – теперь он неактуален. Также хочется упомянуть о возможности динамического изменения размера LUN без остановки системы – тут уже всё упирается в операционную систему хост-машины, которая должна правильно отработать такое событие.
Кратко хочется упомянуть о средствах коммутации в среде FibreChannel – о коммутаторах (switches). Основные игроки на этом рынке Cisco, McData, Brocade, QLogic. Практически все коммутаторы, поставляемые крупнейшими производителями СХД под своей торговой маркой – это OEM от Cisco, McData или Brocade.
Коммутаторы, обладающие большим числом портов, внутренним резервированием управляющих модулей и шин, часто называют «директор» (director). Обычно надёжность директоров составляет т.н. «пять девяток» – 99,999%, они предназначены для работы в качестве ядра (core) сетевой инфраструктуры FibreChannel (или FICON, к примеру) и зачастую строятся по модульному принципу, позволяя создавать нужные конфигурации портов с требуемыми возможностями. К примеру, это может быть большое количество неблокируемых портов, когда все порты могут одновременно функционировать на полной заявленной скорости – в данный момент это 2 Gb и полным ходом идем переход на 4 Gb, таких устройств уже немало. Скорости выше, вплоть до 10 Gb, используются обычно для организации связей между самими коммутаторами (ISL). Коммутаторы для сетей SAN обладают широкими возможностями, позволяя выстраивать подключение устройств по разным схемам, без изменения физической топологии. Управление осуществляется, как и у СХД – web-интерфейс, командная строка, также широки возможности оповещения о критических событиях. Некоторые устройства позволяют обновлять внутреннее программное обеспечение (firmware) без остановки работы, что также немаловажно – например, фирменная технология HotCAT от McData. Одна из основных функций коммутаторов – организация зонного разделения устройств SAN, так называемый zoning (зонирование). Зонирование позволяет создавать зоны, которые ограничивают возможность взаимодействия FC-устройств в SAN – ведь абсолютно не нужно (за редким исключением), чтобы два сервера сети «видели» друг друга – это некорректно с точки зрения безопасности и излишне нагружает сеть. Коммутаторы в единой фабрике функционируют как единое целое, позволяя также управлять безопасностью сети – возможно ограничивать подключение новых устройств в конкретный коммутатор или в фабрику в целом, а также ограничивать подключение неавторизованных устройств в активные порты (контролируется по WWN) и так далее. Коммутатор сетей SAN – это сложное и недешёвое устройство, которое требует конфигурирования специалистом и является ядром коммутации всей сети, при нарушении конфигурации вся работа может в мгновение остановиться. Чтобы избежать таких проблем и повысить надежность, в SAN используют несколько коммутаторов в различных фабриках (что будет рассмотрено ниже).
После знакомства с самими системами хранения данных, принципами их построения, предоставляемыми ими возможностями и протоколами функционирования самое время попробовать объединить полученные знания в работающую схему. Попробуем рассмотреть типы систем хранения и топологии их подключения в единую работающую инфраструктуру.
Устройства DAS (Direct Attached Storage) – системы хранения, подключаемые напрямую к серверу. Сюда относятся как самые простые SCSI-системы, подключаемые к SCSI/RAID-контроллеру сервера, так и устройства FibreChannel, подключенные прямо к серверу, хотя и предназначены они для сетей SAN. В этом случае топология DAS является вырожденной SAN (сетью хранения данных):
В этой схеме один из серверов имеет доступ к данным, хранящимся на СХД. Клиенты получают доступ к данным, обращаясь к этому серверу через сеть. То есть сервер имеет блочный доступ к данным на СХД, а уже клиенты пользуются файловым доступом – эта концепция очень важна для понимания. Минусы такой топологии очевидны:
Низкая надежность – при проблемах сети или аварии сервера данные становятся недоступны всем сразу.
Высокая латентность, обусловленная обработкой всех запросов одним сервером и использующимся транспортом (чаще всего – IP).
Высокая загрузка сети, часто определяющая пределы масштабируемости путём добавления клиентов.
Плохая управляемость – вся ёмкость доступна одному серверу, что снижает гибкость распределения данных.
Низкая утилизация ресурсов – трудно предсказать требуемые объёмы данных, у одних устройств DAS в организации может быть избыток ёмкости (дисков), у других её может не хватать – перераспределение часто невозможно или трудоёмко.
Устройства NAS (Network Attached Storage) – устройства хранения, подключённые напрямую в сеть. В отличие от других систем NAS обеспечивает файловый доступ к данным и никак иначе. NAS-устройства представляют из себя комбинацию системы хранения данных и сервера, к которому она подключена. В простейшем варианте обычный сетевой сервер, предоставляющий файловые ресурсы, является устройством NAS:
Все минусы такой схемы аналогичны DAS-топологии, за некоторым исключением. Из добавившихся минусов отметим возросшую, и часто значительно, стоимость – правда, стоимость пропорциональна функциональности, а тут уже часто «есть за что платить». NAS-устройства могут быть простейшими «коробочками» с одним портом ethernet и двумя жёсткими дисками в RAID1, позволяющими доступ к файлам по лишь одному протоколу CIFS (Common Internet File System) до огромных систем в которых могут быть установлены сотни жёстких дисков, а файловый доступ обеспечивается десятком специализированных серверов внутри NAS-системы. Число внешних Ethernet-портов может достигать многих десятков, а ёмкость хранимых данных – несколько сотен терабайт (например EMC Celerra CNS). Такие модели по надёжности и производительности могут далеко обходить многие midrange-устройства SAN. Что интересно, NAS-устройства могут быть частью SAN-сети и не иметь собственных накопителей, а лишь предоставлять файловый доступ к данным, находящимся на блочных устройствах хранения. В таком случае NAS берёт на себя функцию мощного специализированного сервера, а SAN – устройства хранения данных, то есть мы получаем топологию DAS, скомпонованную из NAS- и SAN-компонентов.
NAS-устройства очень хороши в гетерогенной среде, где необходим быстрый файловый доступ к данным для многих клиентов одновременно. Также обеспечивается отличная надёжность хранения и гибкость управления системой вкупе с простотой обслуживания. На надёжности особо останавливаться не будем – этот аспект СХД рассмотрен выше. Что касается гетерогенной среды, доступ к файлам в рамках единой NAS-системы может быть получен по протоколам TCP/IP, CIFS, NFS, FTP, TFTP и другим, включая возможность работы NAS, как iSCSI-target, что обеспечивает функционирование с различным ОС, установленными на хостах. Что касается лёгкости обслуживания и гибкости управления, то эти возможности обеспечиваются специализированной ОС, которую трудно вывести из строя и не нужно обслуживать, а также простотой разграничения прав доступа к файлам. К примеру, возможна работа в среде Windows Active Directory с поддержкой требуемой функциональности – это может быть LDAP, Kerberos Authentication, Dynamic DNS, ACLs, назначение квот (quotas), Group Policy Objects и SID-истории. Так как доступ обеспечивается к файлам, а их имена могут содержать символы различных языков, многие NAS обеспечивают поддержку кодировок UTF-8, Unicode. К выбору NAS стоит подходить даже тщательнее, чем к DAS-устройствам, ведь такое оборудование может не поддерживать необходимые вам сервисы, например, Encrypting File Systems (EFS) от Microsoft и IPSec. К слову можно заметить, что NAS распространены намного меньше, чем устройства SAN, но процент таких систем всё же постоянно, хотя и медленно, растёт – в основном за счёт вытеснения DAS.
Устройства для подключения в SAN (Storage Area Network) – устройства для подключения в сеть хранения данных. Сеть хранения данных (SAN) не стОит путать с локальной сетью – это различные сети. Чаще всего SAN основывается на стеке протоколов FibreChannel и в простейшем случае состоит из СХД, коммутаторов и серверов, объединённых оптическими каналами связи. На рисунке мы видим высоконадёжную инфраструктуру, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа):
После довольно детального рассмотрения устройств и принципов их функционирования нам будет довольно легко понять топологию SAN. На рисунке мы видим единую для всей инфраструктуры СХД, к которой подключены два сервера. Серверы имеют резервированные пути доступа – в каждом установлено по два HBA (или один двухпортовый, что снижает отказоустойчивость). Устройство хранения имеет 4 порта, которыми оно подключено в 2 коммутатора. Предполагая, что внутри имеется два резервируемых процессорных модуля, легко догадаться, что лучшая схема подключения – когда каждый коммутатор подключён и в первый, и во второй процессорный модуль. Такая схема обеспечивает доступ к любым данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа. Надёжность СХД нами уже изучена, два коммутатора и две фабрики ещё более увеличивают доступность топологии, так что если из-за сбоя или ошибки администратора один из коммутационных блоков вдруг отказал, второй будет функционировать нормально, ведь эти два устройства не связаны между собой.
Показанное подключение серверов называется подключением с высокой доступностью (high availability), хотя в сервере при необходимости может быть установлено ещё большее число HBA. Физически каждый сервер имеет только два подключения в SAN, однако логически система хранения доступна через четыре пути – каждая HBA предоставляет доступ к двум точкам подключения на СХД, к каждому процессорному модулю раздельно (эту возможность обеспечивает двойное подключение коммутатора к СХД). На данной схеме самое ненадежной устройство – это сервер. Два коммутатора обеспечивают надежность порядка 99,99%, а вот сервер может отказать по разным причинам. Если необходима высоконадёжная работа всей системы, серверы объединяются в кластер, приведённая схема не требует никакого аппаратного дополнения для организации такой работы и считается эталонной схемой организации SAN. Простейший же случай – серверы, подключённые единственным путем через один свитч к системе хранения. Однако система хранения при наличии двух процессорных модулей должна подключаться в коммутатор как минимум одним каналом на каждый модуль – остальные порты могут быть использованы для прямого подключения серверов к СХД, что иногда необходимо. И не стоит забывать, что SAN возможно построить не только на базе FibreChannel, но и на базе протокола iSCSI – при этом можно использовать только стандартные ethernet-устройства для коммутации, что удешевляет систему, но имеет ряд дополнительных минусов (оговоренных в разделе, рассматривающем iSCSI). Также интересна возможность загрузки серверов с системы хранения – не обязательно даже наличие внутренних жёстких дисков в сервере. Таким образом, с серверов окончательно снимается задача хранения каких-либо данных. В теории специализированный сервер может быть превращён в обычную числодробилку без каких-либо накопителей, определяющими блоками которого являются центральные процессоры, память, а так же интерфейсы взаимодействия с внешним миром, например порты Ethernet и FibreChannel. Какое-то подобие таких устройств являют собой современные blade-серверы.
Хочется отметить, что устройства, которые возможно подключить в SAN, не ограничены только дисковыми СХД – это могут быть дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и многие другие. Из минусов SAN отметим лишь высокую стоимость её компонент, однако плюсы неоспоримы:
Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
Централизованное хранение данных (надёжность, безопасность).
Удобное централизованное управление коммутацией и данными.
Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
Высокое быстродействие и низкая латентность.
Масштабируемость и гибкость логической структуры SAN
Географически размеры SAN, в отличие от классических DAS, практически не ограничены.
Возможность оперативно распределять ресурсы между серверами.
Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
Простая схема резервного копирования – все данные находятся в одном месте.
Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
Высокая степень безопасности SAN.
Думаю, мы достаточно полно осветили основной круг вопросов, связанных с современными системами хранения. Будем надеяться, что такие устройства будут ещё стремительнее развиваться функционально, а число механизмов управления данными будет только расти.
В заключение можно сказать, что NAS и SAN-решения в данный момент переживают настоящий бум. Число производителей и разнообразие решений увеличивается, техническая грамотность потребителей растёт. Смело можно предполагать, что в ближайшем будущем практически в каждой вычислительной среде появятся те или иные системы хранения данных.
По оценкам IDC за 2004 год рынок дисковых систем хранения составил почти $21 млрд., из которых более $14 млрд. составляют именно внешние дисковые системы хранения. Если учитывать, что рост рынка в денежном выражении прогнозируется порядка 10% в год, а оборудование и особенно носители постоянно дешевеют – несложно предположить, как стремительно развивается сектор индустрии, ориентированный именно на работу с данными. Любые данные предстают перед нами в виде информации. Смысл работы любых вычислительных устройств – обработка информации. В последнее время объёмы её роста порой пугают, поэтому системы хранения данных и специализированное программное обеспечение, несомненно, будут самым востребованными продуктами IT-рыка в ближайшие годы.
Источник : http://www.ferra.ru/online/storage/s26308/page-1/
