В этой статье мы постараемся разобраться с элементами, характерными для систем хранения данных – функциональностью СХД, протоколами, топологиями подключения хранилищ к серверам. В первой части статьи, посвящённой системам хранения данных (СХД), мы познакомились с базовой аппаратной составляющей систем хранения и сферой применения такого оборудования. Ведь для возникновения целого направления в современной IT-индустрии был нужен мощный толчок. Можно с уверенностью сказать, что таких подвижек не было уже давно, повсеместно применялась стандартная схема – сервер с дисками внутри, на которых хранятся основные данные; локальная сеть и компьютеры-клиенты. И вот наконец-то свершилось – системы хранения данных выделяются в отдельный «пласт». Теперь данные хранятся на специализированном оборудовании, обеспечивающем высочайшую надёжность хранения и уровень сервиса, который сложно получить на стандартных схемах информационной инфраструктуры предприятия. Собственно, ради этих составляющих – надёжности хранения и сервиса, которые предоставляет хранилище для управления информацией – в основном и строятся сети хранения данных (Storage Area Network, SAN).
В этой статье постараемся более конкретно разобраться с элементами, характерными именно для сетей хранения данных – функциональностью СХД, протоколами, топологиями подключения хранилищ к серверам. Одной из самых «продвинутых» и распространённых топологий и является SAN, хотя хранилища можно подключать по разными схемам.
Итак – сети хранения и системы хранения данных. Если «зачем» пояснялось в первой части статьи, то во второй мы попытаемся ответить на вопрос «как». Как мы помним, системы хранения данных, или, на профессиональном жаргоне, дисковые стойки, в первую очередь легко различать по внешним интерфейсам, которые и обеспечивают подключения серверов (хостов), и по типу используемых внутри накопителей. Кое-какие из интерфейсов и типов накопителей мы уже упоминали, теперь же коснёмся самых современных. Наряду с терминами СХД (система хранения данных) будем также упоминать синонимы – к примеру, «дисковая стойка».
Внешние интерфейсы подключения – это, как мы помним, в основном SCSI или FibreChannel, а также довольно молодой стандарт iSCSI. Также не стоит сбрасывать со счетов небольшие интеллектуальные хранилища, которые могут подключаться даже по USB или FireWire. Мы не станем рассматривать более редкие (порой просто неудачные в том или ином плане) интерфейсы, как SSA от IBM или интерфейсы, разработанные для мейнфреймов – к примеру, FICON/ESCON. Особняком стоят хранилища NAS, подключаемые в сеть Ethernet. Под словом «интерфейс» в основном понимается внешний разъём, но не стоит забывать, что разъём не определяет протокол связи двух устройств. На этих особенностях мы остановимся чуть ниже.
Интерфейс SCSI
Расшифровывается как Small Computer System Interface (читается «скази») – полудуплексный параллельный интерфейс. В современных системах хранения данных чаще всего представлен разъёмом SCSI:
…и группой протоколов SCSI, а конкретнее – SCSI-3 Parallel Interface. Отличие SCSI от знакомого нам IDE – бОльшее число устройств на канал, бОльшая длина кабеля, бОльшая скорость передачи данных, а также «эксклюзивные» особенности типа high voltage differential signaling, command quequing и некоторые другие – углубляться в этот вопрос мы не станем. Если говорить об основных производителях компонент SCSI, например SCSI-адаптеров, RAID-контроллеров с интерфейсом SCSI, то любой специалист сразу вспомнит два названия – Adaptec и LSI Logic. Думаю, этого достаточно, революций на этом рынке не было уже давно и, вероятно, не предвидится.
Интерфейс FibreChannel
Полнодуплексный последовательный интерфейс. Частично рассмотрен нами ранее, чаще всего в современном оборудовании представлен внешними оптическими разъёмами типа LC или SC (LC – меньше по размерам):
…и протоколами FibreChannel Protocols (FCP). Существует несколько схем коммутации устройств FibreChannel:
Point-to-Point – точка-точка, прямое соединение устройств между собой:
Crosspoint Switched – подключение устройств в коммутатор FibreChannel (аналогичное реализации сети Ethernet на коммутаторах):
Arbitrated loop – FC-AL, петля с арбитражным доступом – все устройства связаны друг с другом в кольцо, схема чем-то напоминает Token Ring. Также может использоваться коммутатор – тогда физическая топология будет реализована по схеме «звезда», а логическая – по схеме «петля» (или «кольцо»):
Подключение по схеме FibreChannel Switched является самой распространённой схемой, в терминах FibreChannel такое подключение называется Fabric – в русском языке существует калька с него – «фабрика». Следует учесть, что коммутаторы FibreChannel – это довольно продвинутые устройства, по сложности наполнения близкие к IP-коммутаторам уровня 3 (маршрутизаторам). Если коммутаторы соединены между собой, то они функционируют в единой фабрике, имея пул настроек, действующих для всей фабрики сразу. Изменение каких-то опций на одном из коммутаторов может приводить к перекоммутации всей фабрики, не говоря уже о настройках авторизации доступа, к примеру. С другой стороны, существуют схемы SAN, которые подразумевают несколько фабрик внутри единой сети SAN. Таким образом, фабрикой можно называть только группу объединённых между собой коммутаторов – два или более не объединённых между собой устройства, введённые в SAN для повышения отказоустойчивости, образуют две или более различные фабрики.
Адресация устройств FibreChannel осуществляется по 64-битовому адресу WorldWideName (WWN), простой пример записи WWN-адреса – 90:06:F1:60:00:60:03:b4. Применимо к портам FibreChannel можно сказать, что WWN этих портов – аналог MAC-адреса в LAN.
Компоненты, позволяющие объединять хосты и системы хранения данных в единую сеть, принято обозначать термином «connectivity». Connectivity – это, конечно же, дуплексные соединительные кабели (обычно с интерфейсом LC), коммутаторы (switches) и адаптеры FibreChannel (HBA, Host Base Adapters) – то есть те платы расширения, которые, будучи установленными в хосты, позволяют подключить хост в сеть SAN. HBA обычно реализованы в виде плат стандарта PCI-X или PCI-Express. На фотографии – PCI-X адаптер FibreChannel от компании QLogic с двумя внешними портами FC 2Gb и дуплексным интерфейсом подключения LC:
Часто возникают вопросы – как же FibreChannel может работать по «меди»? Как уже упоминалось, не стоит путать fibre и fiber – среда распространения сигнала может быть различной. Например, все жёсткие диски FibreChannel имеют металлические контакты, да и обычная коммутация устройств по «меди» – не редкость, просто постепенно все переходят на оптические каналы как наиболее перспективную технологию и функциональную замену «меди». В некотором современном оборудовании с внешними оптическими интерфейсами полки расширения (то есть «коробки» для дополнительных жёстких дисков) подключаются к основному устройству с внешними портами по схеме FC-AL (!) медными кабелями (!), что может вас удивить, однако медное подключение более надёжно в механическом плане и менее требовательно в плане своего обслуживания. Но имеются и минусы – например, ограничение на длину (не более 25 метров) и низкую помехозащищённость, что на скоростях в 2 Гбайт может быть проблемой.
Интерфейс iSCSI
Обычно представлен внешним разъёмом RJ-45 для подключения в сеть Ethernet – всем нам известный разъём:
…и собственно самим протоколом iSCSI (Internet Small Computer System Interface). По определению SNIA: «iSCSI — это протокол, который базируется на TCP/IP и разработан для установления взаимодействия и управления системами хранения данных, серверами и клиентами». На этом интерфейсе остановимся немножко подробней, хотя бы в силу того, что каждый пользователь способен использовать iSCSI даже в обычной «домашней» сети.
Необходимо знать, что протокол iSCSI определяет, как минимум, транспортный протокол для SCSI, который работает поверх TCP, и технологию инкапсуляции SCSI-команд в сеть на базе IP. Проще говоря, iSCSI – это протокол, позволяющий получить блочный доступ к данным с помощью команд SCSI, пересылаемых через сеть со стеком TCP/IP. iSCSI появился как замена FibreChannel и в современных СХД имеет перед ним несколько преимуществ – способность объединять устройства на огромных расстояниях (используя существующие сети IP), возможность обеспечивать заданный уровень QoS (Quality of Service, качество обслуживания), более низкую стоимость connectivity. Однако основная проблема использования iSCSI как замены FibreChannel – большое время задержек, возникающих в сети из-за особенностей реализации стека TCP/IP – это время может приближаться к 80 микросекундам, что сводит на нет одно из важных преимуществ использования СХД – скорость доступа к информации и низкую латентность. Это серьёзный минус.
