VCS Ethernet fabric with VDX 6710, VDX 6720 and 6730 Switches

Протокол FC, разработанный и утвержденный ANSI позволяет работать в любом варианте: Вариант сегодняшнего дня — фабрика коммутаторов (fabric). Протокол FC позволит нам не просто соединять устройства, а соединять так, что он позволит нам передавать то, что мы хотим, в другие протоколы.

Пример: OS/application→ SCSI → FCP, (iSCSI) → FC, (TCP/IP) → (Ethernet).

Идея очень простая: сначала SCSI. Затем host bus адаптер будет это превращать в нужный протокол и дальше. С Ethernet’ом ситуация специфическая, которая подразумевает коллизии, поэтому мы никогда не можем гарантировать запись на диск. Поэтому Основным протоколом является протокол FC без всякого Ethernet’а. Хотя попытки и есть использовать Ethernet, но без гарантии записи в любой серьезной структуре они обречены на провал. Получилась еще одна необходимость: мы должны писать на ленту со скоростью не гигабит, а 10 гбит/с. Иначе это будет чрезвычайно быстро ломаться. Хоть над этим и долго бились, но на текущий момент такие скорости достигнуты. Сейчас идут разговоры про 16 гбит/сек. Каждый процесс теперь запускается на отдельном сервере и каждый такой сервер это blade, потому что у него нет дисковой подсистемы, нет сетевой нет вентиляторов. Нет блоков питания, а есть только процессор и память. И такие блейды устанавливается на специальную шину. Если гбит, то CX4, а если 40 CR4.

Модель это функции, которые кто-то должен выполнить. ВО всех информационных системах всегда модель FCAPS - (F) (Fault Management / Управление отказами, Configuration Management / Управление конфигурацией, Accounting Management / Учёт, (P) Performance Management / Управление производительностью, (S) Security Management / Управление безопасностью), помимо тех функций которые должна выполнять операционная система. Когда сетевая система, там тоже должны быть выполнены функции по связи устройств, и это не функции модели OSI и IEEE. У fiber channel 5 уровней, они называются:

FC-1 кодирование 8 бит в 10 бит или 64 в 66, (фактически уровень PCS IEEE.)

FC-2 В том случае, если используем фабрику коммутаторов, то присвоение адресов, присвоение классов сервиса и некий Flow Control.

FC-3 если это петля с арбитражем, то мы объясняем какие наименования сервера, как мы делаем синхронизацию и т.д., если коммутируемая свитч-фабрика, то мы объясняем какие дополнительные сервисы мы будем делать.

FC-4 вообще не сетевой и не соответствует ничему. Потому что нам необходимо определить функции передачи в FC других протоколов, в частности SCSI или протоколов, предназначенных для работы со стримами (для мультимедийных систем). Или для передачи все из TCP/IP.

Далее придумали названия устройств коммутации:

Придумали, что устройство, которое просто осуществляет коммутацию будут называться свитчами. Их совокупность – фабрикой свитчей. Если есть свитч, который осуществляет большую функцию чем обычный коммутатор, то мы его назовем директором. Если есть свитч, который добавляет к этому коммутатору некоторые функции производительности (защита от несанкционированного доступа и т.д.), то это Backbone. Если есть свитч, который занимается вопросами криптографии, то он называется Encryption Switch. Если есть необходимость связать с несколькими системами хранения данных, то такой коммутатор называется роутером, хотя на самом деле он коммутатор. Если мы захотим связать такую сеть хранения данных с другими устройствами, поддерживающими другие протоколы, то называем FC gateway (шлюз). Каждый элемент в фабрике свитчей будет иметь свое имя. Каждое устройство, которое порождает информацию — source, принимают — target. Они подключается друг к другу при помощи портов. Технология этих портов имеет определенные названия.

Когда устройства начинают присоединяться у них еще нет наименования портов. Blade соединен со свитчем при помощи n порта. У switch’а такой порт называется phy порт. Switch соединяется с другим switch при помощи e порта. А Связь эта называется ISL. Switch может соединяться специальным портом ex с другим switch, который в свою очередь может соединяться специально e портом с другой фабрикой switch’ей. И когда это все начинает работать операционные системы сами устанавливают названия портов и названия линков, то что возникает между свитчами называют trunk'ами. Все реализовано хардвеерно, даже trunk’и. Это объединение нескольких линков в один линк. Для того чтобы именовать не только свитчи но и все остальные устройства придумали специальные хардвеерные адреса, которые называются WWN, аналог MAC- адреса. У каждого сервера блейда есть адаптер, с номером WWN и номером порта на этом адаптере. И это прошито производителем. Чтобы подключать новые устройства придумали новый протокол RSCN – Registered State Change Notification. Он необходим чтобы оповещать устройства, например о добавлении нового Blade, который имеет свои WWN и у нас изменилось состояние портов и их нотификация, подтверждение. Как только новый порт подключается к фабрике коммутатор издает специальный фрейм, он называется broadcast (фрейм для всех). И сообщает о том, что у него появился новый порт и какой. При этом все разбито на специальные зоны, и сообщать broadcast мы можем по зоне, то есть для тех, кого это интересует. Основная проблема: как мы контролируем соединение и как скорость. Наша задача: обязательно записать на диск, поэтому этот контроль делать так как это делалось в Ethernet нельзя. Метод доступа так же делать тоже не получается. В Fiber channel придумана специальная система кредитов BB-credit (на сегодняшний день так работают все серьезные коммутаторы): я никогда не должен получить отказ, то есть если oversubscribing (переподписка коммутатора) то его быть не должно! Если она все же есть, то это не коммутатор. Для того чтобы это сделать мы шлем какой то фрейм, мы не думаем ничего о подтверждениях, а используем буферный кредит, который говорит о том, что нам потребуется память и устройство должно мне ответить и сказать, что эта память или доступна или я могу отправить сразу. И никакая пересылка без возможности свободного буфера не происходит вообще. Всегда есть гарантия того, что данные попадут на диск. Мы должны вести расчет буферов, и он ведется операционной системой коммутатора и давать кредит, кредит есть – пересылаем данные, нет кредита – не пересылаем, нет ресурса. Буфер считается в кбайт/км. Потому что фрейм за определенное время проходит несколько бит (в них меряется время). Поэтому размер буфера рассчитывается согласно скорости прохождения по оптоволокну, учитывая, что это 10 гБит. Если коммутатор имеет двух гигабитную шину, то это 2 Кбит/км размер буфера. У каждого порта коммутатора свои буферы. Поэтому подтверждения доставки не требуется. Скользящие окна не требуется. У нас всегда есть гарантия того, что данные попадут на диск а вот то что записалось это делается при помощи специальных средств, которые называются mess storage.

У нас получилось куча данных и возникла проблема их безопасности. Но об этом в следующей теме. В составе таких систем хранения всегда есть средства криптографии (Encription Switch), который возвращает запрос обратно свитчу и он уже пишет в зашифрованном виде на массив дисков. Encription Switch – это хардвеерная криптография которая предусматривает запись от конкретного source. Это некая виртуализация устройств, которая позволяет не заботиться о том, что все это хранится в достаточно защищенном виде. На расшифровку должно быть потрачено 100 лет. Для того, чтобы не лезть в чужие массивы данных мы разобьём все на зоны, а запись того кто какой зоне принадлежит мы будем делать тоже на хардвеерном уровне. На портах есть специальные микросхемы, которые называются ASIC (автор Brocade). В которые Можно записать те WWN с которыми мы работаем и при подключения какого либо устройства включать этот WWN в зону и опять делать это на хардвеерном уровне. Нам Не требуется переконфигурации системы, а делается в автоматическом режиме. Так же это служит защитой от несанкционированного доступа. Так же придумали протоколы маршрутизации, которые связаны с тем, что мы должны понимать от какого директора к какому switch’у мы должны пробраться. Они называются FSPF. Они поддерживаются операционными системами коммутаторов. Они вычисляют маршрут и метрики маршрута (решать как быстрее добраться). Все эти возможности привели к определенным требованиям. К тому, что мы должны сделать топологии, которые позволят работать очень надежно, а во вторых осуществлять связывание фабрик между собой, по удаленному доступу. А также связывания центров между собой.

Топология для сетей хранения данных не всегда звезда. Первая топология dual fabric (Каждый сервер имеет доступ к той и другой фабрике и эти фабрики коммутаторов могут работать с одним массивом. При этом серверы делят свои операции ввода/вывода между фабриками). Мы получаем производительность, надежность и т.д. Топология core edge (ядро переферии) – последняя топология, на которой остановились (для высокой надежности записи). Все серверы связаны с фабрикой коммутаторов, которую называют периферийной (h Коммутаторы). Они в свою очередь соединены с другой фабрикой коммутаторов, которая называется CORE. А эта фабрика Switch’ей присоединяется к ленточным массивам, к дисковым массивам. То есть двойные фабрики Switch’ей, сделано для надежности. Все дублируется. Лучший способ надежности системы – дублирование элементов. Есть другие топологии на основе core edge. На основе того что сделано получили Meta SAN, это означает, что мы получили кучу серверов, которые работают с системой хранения А, еще кучку, которая работает с системой хранения Б, в середине они связаны между собой специальный Backbone, который умеет маршрутизировать. Backbone router и все вместе присоединяется к Sun C, которая имеет какие-то дисковые и ленточные массивы и мы можем писать на очень больших расстояниях. Проложено достаточно много оптоволокна, то которое не используется называется темные волокна. В этом случае можно связать темные волокна с помощью специальных устройств, чтобы передавать данные на гигантские расстояния. Протоколом будет не Fiber Channel, а все тот же Ethernet над которым будет работать tcp/ip. Получится extended sun. Так соединяются датацентры. Получили в итоге другую структуру, а для того, чтобы ее поддерживать получили необходимость ставить такие системы в специальных зданиях, которые называются ЦОДы. Эта система хранения – центр ЦОДа. Это все требует очень качественного питания. Любой сбой приведет к развалу дисковых подсистем. Нет ни одного способа, который позволил бы избежать разрушения данных при сбоях в питании. Поэтому единственный способ – держать питание. Из-за этого мощность ЦОДа меряется не в терабитах, а в мегаваттах. Есть статистика. И по статистики IBM каждый компьютер испытывает до 120 сбоев питания в месяц. В наших сетях 87% имеют пониженное питание из-за перегрузки, неправильного регулирования, а это означает, что UPS не заряжен и в нужный момент мы ничего не сможем сделать. Разрушение данных – это разрушение ссылок на эти данные. Только 0,7 это повышенное напряжение. 8% это высоковольтные импульсы, к ним приводят атмосферные явления. + проблемы с включением, отключением мощных потребителей. Поэтому питание нужно стабилизировать. Оно ставится на здание или на комплекс, на котором работает компьютерная техника. Около 5% - полное отключение питания. Для этого делают питание по первой категории. (запитываются от двух подстанций). Всевозможные проблемы с искажением гармоник (из-за нелинейных потребителей). Будут установлены специальные ИБП, которые позволят операционной системе, через специальный адаптер включить или он будет работать всегда. Оно поддерживает на тот момент, который дан, чтобы правильно завершить работу. Если питание пропало или сгорело или исказилось, то мне это не поможет. Нужно включить генератор. Эти ИПС будут иметь специальный адаптер, и перед тем как окончательно выключатся запустят мотор генератора, который должен запуститься за определенное время. От этого зависит категория надежности ЦОДа. Все Это Компьютерно управляемо. Поэтому Там стоит специальный сервер блейд, который будет контролировать и управлять системой питания.

ПУЭ — правила устройства электроустановок. Если мы ее не знаем, и не понимаем как должна быть сделана проводка, то программировать мы не умеем. Компьютерная проводка должна быть выделенной. В нее должна включаться только вычислительная техника. И она должна подключаться к специальному контуру заземления.

ЧТО И КАК ПИСАЛИ О МОДЕ В ЖУРНАЛАХ НАЧАЛА XX ВЕКА Первый номер журнала «Аполлон» за 1909 г. начинался, по сути, с программного заявления редакции журнала...

Что делает отдел по эксплуатации и сопровождению ИС? Отвечает за сохранность данных (расписания копирования, копирование и пр.)...

ЧТО ТАКОЕ УВЕРЕННОЕ ПОВЕДЕНИЕ В МЕЖЛИЧНОСТНЫХ ОТНОШЕНИЯХ? Исторически существует три основных модели различий, существующих между...

Что делать, если нет взаимности? А теперь спустимся с небес на землю. Приземлились? Продолжаем разговор...

Не нашли то, что искали? Воспользуйтесь поиском гугл на сайте: