Лекция 15. Организация ЦОДов.

Датацентр или ЦОД (центр обработки данных) - это просто здание или его часть, в котором находится машинный зал и вспомогательные службы.

Стандарт TIA 942 объясняет организацию здания ЦОДа, учитывает массу других необходимых стандартов (кабельной системы (EIA/TIA 568,569,606,607), безопасное устройство электроустановок (IEEE C2), правила жизнедеятельности (NEC NPFA 101 - безопасность, 70-про электричество, 75-защита компьютерного оборудования), инженерные телекоммуникационные требования ANSI T1, аварийное резервное снабжение IEEE 446, Telcordia GR - вентилирование, стандарты по отоплению, охлаждению, кондиционированию).

Есть так же ГОСТы, однако международные нормативы опережают их, поэтому мы и говорим о них более детально.

Пространство в датацентре может принадлежать как частной компании, так и нескольким поставщикам услуг. Могут содержать оборудование, обеспечивающее как доступ к Ethernet’у, так и хранение данных. Если ЦОД обслуживает частную компанию, то он называется частным доменом; если ЦОД обслуживает потребителей, он называется датацентром публичного домена.

Если рассматривать с точки зрения телекоммуникационной структуры, то схема будет другая

Главный ввод – туда, куда приходят все кабели и провайдеры. Это специальное устройство, куда приходят внешние кабели, которые мы потом переключаем на кабели внутренние (для пожаробезопасности). Для надежности системы обычно используется несколько провайдеров.

В горизонтальной зоне будут стоять коммутаторы, а в HDA будут стоять непосредственно стойки с серверами. В главной распределительной зоне будет аппаратная (маршрутизаторы, мультиплексоры, АТС- автоматическая телефонная станция). Это реализация согласно 942-му стандарту.

В стандарте учтено все: Какова высота потолок (2,6), как располагать стойки (метр между стойками со шкафами и 0,6 от стены), эти нормативы необходимы, чтобы обеспечить бесперебойную работу системы. Согласно стандарту мы должны обеспечить кондиционирование, бесперебойное питание с мощностью до 100 кВт, более того, согласно стандарту: все что не связано с поддержкой оборудования машинного зала не должно стоять в машинном зале. Должна быть определенная освещенность, ширина дверей, нагрузка на перекрытие, требования по вентиляции отоплению, кондиционированию. Непосредственный доступ в зал только по экстренным случаям! Всем! Прежде всего безопасность обеспечивается с помощью отсутствия физического доступа. Это кодовые замки, дверь, ключи только у операторов (по рекомендации IBM это специалисты с высшим образованием, хоть это и не обязательно). Температурный стандарт на данный момент 21 градус. Должны быть обеспечены системы резервного питания, системы заземления, пожарной безопасности (обычно порошковые, иногда газовые, хотя они гасят хуже), отсутствие проникновения воды. Согласно стандарту специальным образом размещается оборудование: В зоне HDA специальным образом организованы ряды шкафов и стоек, которые тоже организованы в ряды. Оставлены проходы. Схема охлаждения оборудования называется «спереди назад», это учитывается при выборе оборудования. Со стороны «горячего» прохода воздух выпускается, а со стороны «холодного прохода» воздух всасывается. Там, где ничего не используется, шкафы и стойки должны иметь некоторое количество юнитов (обычно 4,5 см, через которое ставится оборудование, секции на патч-панели например). Минимальный шкаф – 42 юнита. Каждый шкаф должен питаться желательно от двух источников электропитания.

Проход спереди шкафа метр, сзади шкафа 0,6 метров. Полы делаются перфорированной плиткой (фальшь-пол). Ставятся rodent-protected оплетки на кабелях, для защиты от мышей и крыс, хотя мыши их все равно кушают =). Все вентиляционные решетки сделаны со специальными клапанами и специальными щетками, дабы оградиться от мышей, которые лезут по вентиляционным каналам. Топология кабельной системы — звезда. Длинна горизонтальной системы 90 метров. Магистраль 300 метров. Это заложено в стандартах Ethernet. Кабельная система категории 6, как single-mode, так и мульти мод. Может часть систем быть сделана при помощи коаксиального кабеля, в этом случае это 75 Ом’ный кабель.

Особое внимание к надежности. (Есть 3 способа восстанавливать системы, это бекап, бекап и еще раз бекап). Есть 3 способа обеспечить надежность системы: Резервирование, резервирование, резервирование! Резервирование всего, что есть в данной системе. Резервировать провайдеров доступа, которые поставляют услуги. Резервировать маршрутизаторы, Co & H (свитчи для систем хранения), смотровые люки, всю телекоммуникационную инфраструктуру (все кабельные системы двойные, везде топология courage). Такое резервирование сертифицируется институтом Uptime Institute. Там договорились о том, какой уровень надежности должен обеспечить ЦОД.

Таких уровней всего четыре, они называются tier:

1. Резервирование на уровне n+1. Предусматривается один дополнительный узел, путь канал и т.д или одна система в дополнении к тому минимуму, который требуется для работоспособности системы. Отказ или ремонт любого одного модуля или узла не нарушает работу системы. Резерв Всех каналов, всех портов.

2. Резервирование n + 2 Предусматривается два дополнительных узел, пути канала и т.д или две система в дополнении к тому минимуму, который требуется для работоспособности системы. И отказ или ремонт любых двух узлов не нарушает работу.

3. 2n – 2 комплекта узлов, модулей, две системы и отказ любого такого целого узла не нарушает работу.

4. 2n+1 – 2 комплекта узлов, модулей, путей + модули резервированы. В случае отказа любого узла или модуля система будет работать за счет резервирования.

Если Датацентр TIA1 подвержен нарушению нормальному ходу системы и ее ремонту. Любые операционные системы предполагают фрагментирование памяти, которое в конечном счете приведет к поломке системы. Поэтому есть плановая остановка системы. Надежность системы — это не работа 24/7, а сколько она может простоять. Борьба с фрагментацией это серьезная проблема, она вынуждает выключать сервера.

В дата центре уровня 1. Мы имеем системы распределения питание и охлаждения, но можем не иметь источников питания, то есть мы допускаем простой системы. А если имеются. То они позволяют обеспечить только какие то простые действия.

Датацентр уровня 2 – есть и источники бесперебойного питания, генераторы, требуется по стандарту фальшь полы. Одна система питания. Имеем оценку n+1. Один путь распространения энергии. Часть обслуживания потребует части остановки части системы.

Уровень 3 – параллельное проведение ремонтов. На больших объемах требуется мощная система охлаждения. Этот уровень обычно переходный. Его делают для того чтобы перейти к четвертому уровню, который очень затратен.

Уровень 4 – отказоустойчивые датацентры. Отказов не бывает, бывает медленно. Отказоустойчивость делает обеспечивающими средствами. Любую плановую, не плановую деятельность можно делать не прерывая работы, т.к. есть резервирование систем. Резервирование 2n +1. Резервированы системы питания, охлаждения, вентиляции и т.д. Подвод питания двойной, raid’овские накопители и специальные способы защиты дисковых накопителей.

Если уровень 2 – провайдерское оборудование имеет избыточные компоненты, например дополнительный резервный адаптер, он же «горячий» резерв. Для таких датацентров выделяют специальные категории людей, которые называют спецификаторы, это люди, которые непосредственно разрабатывают спецификаторы. Это профессия. Магистральные кабели и системы хранения данных резервированы оптоволокном или медью и сделаны по типу звезды. Резервирование Кабелей и специальных смотровых мест.

Уровень 3 – по крайней мере два провайдера доступа, обслуживание из двух офисов операторов связи, расстояние не менее 30 метров для каналов, которые входят в ваш датацентр, 2 комнаты ввода, для ввода кабелей на расстояние не менее 20 метров. Дублирование магистральных и горизонтальных зон. И горячий резерв для всей телекоммуникационного оборудования (Каждых адаптеров 2)

Телекоммуникация 4-го уровня – дублирование магистральных маршрутизаторов мультиплексоров, коммуникаторов. Все сетевые соединения должны переключаться автоматически, для этого используются специальный протоколы. Главная и распределительная зона на разных концах датацентра. Каждая зона – свой кабельный канал и свое устройство ввода.

Если системы по-настоящему серьезные – дублируются датацентры. Дублирующий центр защищен, экранирован там архивы с данными.

Требование к электрооборудованию. Основной процент сбоев связан со сбоями в электропитании. Средний норматив по сбоям электропитания – 20 сбоев в месяц. Каждый такой сбой — это большая вероятность потери целостности данных. То есть единственный способ не потерять данные и их целостность – избавится от сбоев. Любая СУБД работает при помощи системы pointer’ов. Ссылки pointer’ов при любом сбое питания теряются. Поэтому все компьютерные специалисты, после тестирования на определенном примере (получив нужный результат) выключит питание в момент работы системы. В 90% случаев после этого бух. учет «завалится на бок». Это неправильное программирование, оно сложное программирование. Обычно Датацентры имеют питание по первой категории (от двух подстанций, причем желательны к тем, которые питают больницы.). Все питание – подземное, иначе уязвимы. Генераторы должны быть дизельными (газовые медленно запускаются). Должен быть запас дизельного топлива, а его едят микробы, поэтому надо мониторить состояние топлива. Запас топлива может быть от четырех часового до 60-ти дневного в зависимости от категории. 4 категория – 60 дней. Вырабатываемый ток должен быть понятен источнику бесперебойного питания, которые должны держать питание до 30 минут и, при наличии проблемы, включать моторы генераторов. Должны быть специальные пусковые токи с максимальным падением напряжения 15 процентов. Максимальная мощность должна обеспечить и систему охлаждения. Должна быть синхронизация в случае отказов. Иначе мы можем пустить и ток от генератора и от подстанции, а это приведет к сгоранию аппаратуры. Все генераторы и ups должны питаться от аварийного питания (и должны быть освещены). Генераторы должны быть или в отдельных помещениях или в специальном устройстве, гасящем вибрации. На телефонных узлах требуется держать питание до 8 часов. (хотя по нормативам – 30 минут) Все это изложено в стандарте IEEE 1100. Чтобы не сгореть все устройства требуется заземлить. Если датацентр – сетка с ячейками из проводников. Сетка имеет ячейки от 0,6 до 3-х метров. Она должна быть под всем датацентром. Вся площадь машинного зала должна быть покрыта этой сеткой. Она присоединена специальными шинами к оборудованию. И такая шина заземления должна идти для каждой зоны датацентра и для каждой цели – свое сечение, к стойкам с оборудованиям, к вентиляционным стойкам (6 AVG), для каждой колонны по одной шине, которые заземлены. Все воздуховоды заземлены, к каждой опоре фальшь пола, к каждому шкафу своя шина соединения. НИЧЕГО НЕ СОЕДИНЯТЬ ПОСЛЕДОВАТЕЛЬНО.

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что способствует осуществлению желаний? Стопроцентная, непоколебимая уверенность в своем...

Что вызывает тренды на фондовых и товарных рынках Объяснение теории грузового поезда Первые 17 лет моих рыночных исследований сводились к попыткам вычислить, когда этот...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: