Стандартная отраслевая система классов для определения надежности инфраструктуры

Одним из наиболее значительных источников недопонимания в области обеспечения непрерывной работы является вопрос о том, что же представляет собой надежный центр хранения и обработки данных. Слишком уж часто понятие надежности является субъективным. А то, что кажется приемлемым одному человеку или компании — неприемлемо для другого. По мере превращения услуг размещения оборудования в серьезную отрасль, все конкурирующие компании, владеющие центрами хранения и обработки данных с радикально отличающимися инфраструктурными возможностями, стали заявлять о том, что обеспечивают «высокую эксплуатационную готовность».
Взрывной рост Интернета влечет за собой повышение требований к надежности компьютерного оборудования. Пользователи информационных технологий рассчитывают на эксплуатационную готовность класса «пять пятерок» — 99,999%.
К сожалению, серьезных капиталовложений в достижение такого уровня готовности компьютерного оборудования самих по себе недостаточно для обеспечения защиты критически важных вычислительных функций. Эти инвестиции должны быть подкреплены хорошим пониманием того, насколько хорошо инфраструктура площадки соответствует требуемому уровню готовности.
Организация Uptime Institute® разработала многоуровневую классификацию, которая может использоваться в качестве единого стандарта оценки инфраструктуры. Классификация, разрабатывавшаяся несколько лет, включает в себя уровни готовности от 99,67% до 99,99%. Важно отметить, что этот диапазон уровней эксплуатационной готовности существенно уступает уровню «пять пятерок», на который сейчас ориентируется отрасль информационных технологий.

В течение последних сорока лет центры хранения и обработки данных прошли через, как минимум, четыре четко определенных этапа, отраженных в классификации Uptime Institute. Класс Tier I появился в начале шестидесятых годов, Tier II — в семидесятые, Tier III — в конце восьмидесятых, а Tier IV — в 1994 году, в ходе реализации проекта для компании United Parcel Service в городе Уиндварде, ставшего первой площадкой, где компьютерное оборудование обеспечивалось питанием от двух источников. Специалисты Uptime Institute принимали участие в разработке принципов Tier III и положили начало созданию Tier IV.
Своим изобретением Tier IV обязан исполнительному директору Uptime Institute Кену Брилю, предвидевшему, что в будущем все компьютерное оборудование будет питаться от двух независимых источников. При реализации проекта в Уиндварде, стоимость которого составила 50 миллионов долларов, United Parcel Service сотрудничала с IBM и другими производителями, поставившими компьютерное оборудование, подключаемое к двум источникам питания.
Технология с двойным питанием требует наличия как минимум двух независимых систем электроснабжения. Системы двойного питания используют различные пути передачи энергии к компьютерному оборудованию, что обеспечивает смещение точки электрической избыточности с систем бесперебойного питания непосредственно к самому оборудованию. Интуитивная догадка Бриля впоследствии была подтверждена исследованием Uptime Institute, выявившим, что 95% инфраструктурных сбоев приходятся на участок между ИБП и компьютерной на-грузкой. После завершения в 1994 году проекта в Уиндварде системы четвертого класса System+SystemSM получили широкое распространение, а число моделей компьютерного оборудования, подключаемых к двум источникам питания, значительно выросло.
Распространение компьютерного оборудования с двойным питанием в совокупности с электрической инфраструктурой класса Tier IV является примером того, как конструкция инфраструктуры площадок и компьютерного оборудования одновременно стали ориентироваться на более высокую эксплуатационную готовность.

Данная таблица иллюстрирует сходства и различия классов



Существенные изменения в конструкции компьютерного оборудования, происходящие в последнее время, приводят к тому, что центры данных (в том числе — сооруженные в последние пять лет) классов Tier I, II и III намного отстают в плане способности обеспечивать эксплуатационную готовность от поддерживаемой ими техники.

Определение классов

Для понимания данной системы классификации необходимо ввести несколько определений. Площадка, которая может выдержать как минимум один незапланированный отказ инфраструктуры самого серьезного уровня без серьезных последствий для нагрузки, считается отказоустойчивой. Площадка, на которой могут проводиться плановые работы по обслуживанию инфраструктуры без отключения нагрузки, определяется как допускающая одновременную эксплуатацию и техническое обслуживание (уровень устойчивости к сбоям во время работ может снижаться). Важно помнить, что типичный центр данных состоит как минимум из двух десятков крупных механических, электрических, противопожарных, защитных и других систем, каждая из которых, в свою очередь, состоит из дополнительных подсистем и компонентов. Для того чтобы площадка в целом считалась отказоустойчивой и допускающей одновременную эксплуатацию и техническое обслуживание, этими качествами должны обладать все без исключения входящие в ее состав системы.
На некоторых площадках, где реализованы электрические решения типа System+System, отсутствуют их механические аналоги, в которых дублируются механические системы.
Такие площадки классифицируются как Tier IV с точки зрения электрической части, однако лишь Tier II с точки зрения механики. В приведенном ниже списке суммируются характеристики всех классов.

■ Tier I
По одному каналу питания и охлаждения, отсутствие резервных компонентов, эксплуатационная готовность — 99,671%.
■ Tier II
По одному каналу питания и охлаждения, имеются резервные компоненты, эксплуатационная готовность — 99,741%.
■ Tier III
Несколько подводов систем питания и вентиляции, однако активным является лишь один из них, резервные компоненты, наличие возможности одновременной эксплуатации и технического обслуживания, эксплуатационная готовность на уровне 99,982%.
■ Tier IV
Несколько активных каналов питания и охлаждения, резервные компоненты, отказоустойчивость, эксплуатационная готовность — 99,995%.
Показатели эксплуатационной готовности были выведены в ходе эталонного тестирования отрасли, проводившегося Uptime Institute и площадками, входящими в 10% лучших (это означает, что лишь 10% площадок имели показатели такого уровня). Наиболее серьезным отличием лучших площадок от всех остальных является качество управления человеческим фактором.

Данная таблица иллюстрирует, каким образом перечисленные идеи проецируются на архитектуру центров данных.



Центр данных класса Tier I
Базовый уровень

Работа центра данных класса Tier I прерывается как в случае плановых, так и в случае незапланированных перебоев. В нем имеются системы питания и охлаждения для компьютерной техники, но может не быть фальшпола, ИБП и дизельного генератора. Имеющиеся ИБП и генераторы представляют собой одномодульные системы, имеющие множество единых точек отказа. Раз в год вся инфраструктура должна отключаться для выполнения профилактических и ремонтных работ. В чрезвычайных ситуациях могут потребоваться более частые отключения. Рабочие ошибки и спонтанные отказы компонентов инфраструктуры ведут к перебоям в работе центра данных.

Центр данных класса Tier II
Резервирование компонентов

Центры данных класса Tier II, в которых имеется резервирование компонентов, подвержены перебоям из-за плановых и неплановых отключений несколько меньше, чем центры базового уровня. В них имеется фальшпол, ИБП и дизельные генераторы, однако резервирование в них осуществляется по схеме N+1 (необходимые элементы плюс один резервный) с единственным каналом. Проведение работ на канале подачи энергии и других компонентах инфраструктуры площадки требует прерывания работы центра.

Центр данных класса Tier III
С возможностью одновременной эксплуатации и технического обслуживания

В центрах класса Tier III возможно проведение планового технического обслуживания без прерывания работы компьютерного оборудования. Плановые работы включают в себя проведения профилактического и программируемого обслуживания, замену и ремонт компонентов, добавление или удаление блоков, тестирование компонентов и систем и т.д. В больших центрах, использующих охлажденную воду, для этого требуется два трубопровода. Необходимо наличие мощностей, достаточных для поддержания работы всей нагрузки одним каналом, в то время как на другом выполняются работы. Незапланированные события, такие как ошибки в работе и спонтанные отказы инфраструктуры центра, по-прежнему будут вызывать перебои в его работе. В проекты центров данных класса Tier III часто закладывается возможность последующей модификации до класса Tier IV, когда бизнес заказчика будет оправдывать стоимость дополнительной защиты.

Центр данных класса Tier IV
Отказоустойчивый

Инфраструктура центров класса Tier IV допускает выполнение любых плановых операций без отключения нагрузки. Функции защиты от сбоев также позволяют инфраструктуре центра перенести как минимум один неожиданный отказ самого высокого уровня опасности без последствий для нагрузки. Для этого необходимо наличие нескольких активных каналов, обычно имеющих конфигурацию System+System. Для выполнения этих требований в системе электроснабжения центра должны иметься две независимых системы бесперебойного питания, каждая из которых имеет резервирование по схеме N+1. Ввиду требований правил противопожарной и электротехнической безопасности простои все-таки будут иметь место при объявлении пожарной тревоги или аварийном ручном отключении энергии. Класс Tier IV требует наличия во всем компьютерном оборудовании дублированных силовых входов, как это определяется версией 2.0 спецификации отказо-устойчивых систем питания Uptime Institute .
Центры данных класса Tier IV наиболее полно соответствуют концепциям отказоустойчивости компьютерного оборудования, в котором используется кластеризация ЦПУ, массивы RAID DASD и резервированные каналы передачи данных, обеспечивающие высокую надежность, эксплуатационную готовность и ремонтопригодность. В прилагаемой таблице показано, как эти идеи соотносятся с концепциями инфраструктуры центров данных.

Решение проблемы несовместимых требований по обеспечению надежности уровня «пять девяток»

Даже центры данных уровня Tier IV, обладающие отказоустойчивостью и возможностью одновременного сервисного обслуживания и эксплуатации, не удовлетворяют требованию по достижению готовности уровня «пять девяток» (99,999%). Центры класса Tier IV могут обеспечить эксплуатационную готовность максимум на уровне 99,995% — это предполагает, что отключения будут происходить не чаще одного раза в пять лет и только в результате пожарной тревоги или ручного аварийного отключения. Лишь десять процентов центров класса Tier IV смогут добиться такого уровня готовности. При отсутствии постоянного внимания и контроля человеческого фактора ожидается, что в течение пяти лет произойдет как минимум еще один сбой. Хотя предполагается, что работа центра будет сразу же восстановлена (это требует постоянной круглосуточной работы персонала), на восстановление доступа к информации может уйти до четырех часов.
Время безотказной работы центров класса Tier IV составляет 99,995% за пять лет. При использовании другой методики подсчета с теми же данными получается, что время безотказной работы составляет 100% в течение четырех лет и 99,954% в год, на который приходится сбой.
Более высокого уровня готовности можно добиться путем обеспечения защиты от пожарного и аварийного отключения (случайного или связанного с реальной потребностью). Предупредительные меры включают в себя установку высокочувствительных детекторов дыма, ограничение пожарной нагрузки, сертификацию персонала, ограничение доступа посторонних на ответственные участки и воспитание в сотрудниках гордости за свою работу. В случае принятия всех этих мер риск отказа может снизиться. Другие решения включают в себя размещение резервных блоков ИТ-оборудования в разных секциях центра данных, чтобы происшествия с инфраструктурой не смогли повлиять сразу на все ИТ-системы. Другой альтернативой является сосредоточение усилий на самых важных приложениях, чтобы на их восстановление не потребовалось тратить четыре часа. Эти оперативные меры могут повысить уровень эксплуатационной готовности любого центра данных и особенно важны для центров данных класса Tier IV, в которых размещается ИТ-оборудование, требующее готовности уровня «пять девяток».

Авторы

Пол Тернер является профессиональным инженером, высокопоставленным сотрудником Uptime Institute и одним из руководителей Computersite Engineering®. Он руководил проектами для компаний, входящих в список Fortune 50, в ходе которых в инфраструктуру центров данных было инвестировано более 1,5 миллиарда долларов. Кен Бриль является исполнительным директором Uptime Institute и одним из руководителей Computersite Engineering. Он основал консорциум Site Uptime Network® и в 1991 году изобрел технологию двойной подачи электроэнергии для центров данных с высоким уровнем эксплуатационной готовности.