СХД

Компоненты СХД

Основные компоненты:

• Контроллер – для управления дисковым массивом, с функционалом восстановления-бекапов и прочим (подробнее в статье).
• Дисковый массив – жесткие диски (SAS/SATA/NL-SAS), SSD, ОЗУ (БД в ОП: sun hana, mail.ru tarantool), ленточные накопители (редко и их рынок падает, довольно медленные, но еще есть, основной плюс – экономия хранения на них в 8-10 раз относительно стоимости терабайта хранения)
  

Эти компоненты могут быть реализованы в одном устройстве (SOHO), но зачастую представляют собой две разных полки. При этом Controller enclosure должен быть рядом с Disc enclosure т.к. SAS HD/SATA кабеля ограничены по длине. На всех OceanStor контроллерах есть поддержка интерфейсов  SAS 3.0 со скоростью 12гб/c.

Для подключения одной дисковой полки нужно два кабеля (по одному с каждого контроллера). Для подключения трех дисковых полок соответственно нужно 6 кабелей, причем к контроллерной полке напрямую обоими кабелями поключена только одна из дисковых полок, две других имеют только один прямой линк до контроллерной полки и два линка между собой.

Подключение дополнительных полок к контроллеру может быть каскадом (как в примере выше), не только напрямую. Полки расширения подключаются через SAS expanshion (EXP) интерфейс, каскадирование так же через SAS (EXP). У контроллера только EXP порты, а у полки EXP и PRI. Со стороны дисковой полки PRI порт смотрит на EXP порт вышестоящего контроллера или другой дисковой полки. Рекомендуется каскадировать не более 5 полок – вопросы по скорости и отказоустойчивости.

Управление/мониторинг

Два основных варианта: по сети через BMC/MS или по консоли.

LOGIC архитектура и ФУНКЦИОНАЛ

Отдельная статья

Huawei СХД

Все Huawei СХД предлагают Unified storage – SAN (как FC SAN, так и IP SAN) и NAS одновременно. Файловый доступ и блоковый – как тебе хочется, причем можно определять долю, какой доступ будет сколько от системы занимать. Решение для среднего/крупного бизнеса в общем случае. Унифицированная ОС на всех СХД – это удобно при замене/апгрейде или зеркало можно держать на менее производительном СХД от того же Huawei.

В целом продуктовая линека OceanStor v3 закрывает все вопросы по хранению данных:

• SAN (FC/IP) & NAS
• HIGH-END & MID-RANGE & ENTRY-LEVEL
• SSD & HDD
• PRIMARY & BACKUP STORAGE
• HETEROGENEOUS

HARDWARE архитектура

На СХД контроллерах Huawei используются Xeon E5/7. На младших моделях контроллеры однопроцессорные, на старых – двух. Все компоненты обоих enclosure (по сути всего СХД) дублируются и меняются на горячую для отказоустойчивости – power module PSU (4 в 6800, 2+2), BBU, FAN, management, interface module.

Всегда есть и резервирование самого контроллера – в старшей модели (6800) 4 контроллера, во всех остальных по два (в одном controller enclosure два контроллера – см. ниже). Работают обычно active-active в режиме balancing, но можно и сделать active-passive. Между контроллерами постоянно идет cache mirroring.

Архитектура многопроцессорного (на примере OceanStor 6800): два процессора со связью по QPI, DDR3, PCI свичи как промежуточные модули между CPU и интерфейсными модулями.

Контроллерная полка

Контроллер с закрытой крышкой (скрины только младшей модели)

Красным обведены два контроллера в одном enclosure. Во всех контроллерах есть поддержка SAS/SATA/NL SAS/SSD. К контроллеру можно подключать дополнительные дисковые полки – сзади контроллера есть SAS/Fibre channel/карты расширения (можно поменять карту на другу технологию FC/iSCSI или плотность – 1G/10G).В Smart I/O порты (есть на всех моделях кроме 5300) можно вставить Ethernet через SFP или Fibre channel через SFP-fiber channel, хотя обычно модули FC несъемные, а тут по сути мультитаскинг (поддерживаются, судя по доке: 8/16 Gbit/s Fibre Channel, 10 Gbit/s Ethernet, 10 Gbit/s FCoE). Для Huawei OceanStor v3 до 8 контроллеров могут работать в одном кластере, разделяя нагрузку по CPU/cache. Подключение при этом происходит используя Smart I/O порты друг к другу напрямую или через FC коммутатор. По сравнению с v2 так же обновлен CPU и кеш.

С открытой крышкой спереди/сзади

В блоки питания интегрированы батареи и фан модули. На старших моделях (начиная с 5800) питание (power module)  и батарейные блоки (BBU) разнесены + есть внешние BMC на специальных management modul’ях (два) с float IP между ними (типо VRRP). В младших моделях есть дисковый модуль т.к. в младшие модели контроллеров (Huawei OceanStor 5300/5500), помимо подключения дисковых полок, внутрь контроллера можно вставить диски 3,5 (12 штук) или 2,5 (25 штук). На старших (Huawei OceanStor 5600/5800/6800) нельзя, хотя они и больше по RU, но там только высокопроизводительные контроллеры и прочая периферия в controller enclosure.

Компоненты полки

Дисковая полка (скрины только младшей модели)

Батарейных блоков  на дисковых полках нет, но блоков питания стандартно два. На старших моделях есть fan модули. Два Expansion модуля (два для резерва) для стекирования с контроллером. Обычно в полке только диски определенного размера можно помешать –  или 2,5 или 3,5. Чаще всего каждый диск в дисковой полке может быть включен/отключен независимо от другого. У топовой модели дисковой полки нет возможности простой замены диска спереди т.к. количество дисков для установки огромно и все спереди поместить нереально – нужно систему опускать на салазках и сверху менять диски. Напротив проблемных ЖД будет красный индикатор. Спереди и сзади отображается ID полки для удобства.

МОДЕЛИ

Настройка

Тут про эмулятор СХД Huawei. В целом все базовые настройки можно посмотреть в удобном preview прямо в WEB контроллера, как написано в статье про эмулятор.

Выделение LUN для хоста

Последовательность базовой конфигурации : создать пул хранения (storage pool), создать LUN, создать хосты, сопоставить LUN хостам (mapping). Настройка в основном осуществляется по GUI, хотя есть возможность и CLI. Более детально (стадия port group не обязательна):

Disk domain – объединение физических дисков (можно разных типов). Для создания нужно минимум 4 диска. Для работы SmarTier на Disk Domain нужно чтобы в нем были диски разных типов (не обязательно три типа, можно и два). Как хочешь так и объединяешь – можешь на основе сервисов, можешь на основе характеристик. Создание нескольких доменов позволяет решить несколько задач:

• Изоляция ресурсов (производительности, емкости, tiering) – LUN создается внутри Storage Pool, а Storage Pool создается внутри Disk Domain. Следовательно LUN может получать емкость/производительность из физических дисков внутри только своего Disk Domain.
• Разделение носителей по группам на основе типа и размера – в дисковых доменах будут разные диски по стоимости и производительности.

Добавление дисков в домены – очень важная операция. “Нельзя просто так взять и..” удалить диск из домена.  Если случайно добавить не то, что нужно в работающий домен – нужно пересоздавать весь домен с предварительным удалением из него всех дисков и привязанных storage pool, LUN!!! Дич.

Storage pool – на базе Storage pool создается RAID array и  LUN в этом Storage pool наследуют от него эту защиту.

Host – создается путем создания инициатора (initiator) хоста.

Lun group – объединение LUN. Как хочешь так и объединяешь – можешь на основе сервисов, можешь на основе характеристик. Объединение нескольких LUN в группу нужно для применения общих политик для группы LUN – mappings, snapshots, replication. Применяя политику к группе она будет применена ко всем LUN в этой группе.

Port group – объединение нескольких физических портов хоста в группу. Необязательная настройка. Может использоваться для определения портов, которые будут использоваться для обмена данными с определенным LUN.

Mapping view – создает связь между LUN и host для доступа к данным LUN для определенного/ых host.

Создание разделов в ОС – перед созданием предлагается выбрать тип partition style для инициализации диска. ОС при инициализации создает на диске уникальный ID раздела (signature). После этого уже создаем разделы.

• MBR (Master Boot Record) – старый тип и не поддерживает разделы более 2ТБ.
• GPT (GUID Partition Table) – новый и поддерживает разделы более 2ТБ, но не поддерживается в старых версиях Windows.

Summary по логическим сущностям и настройке

Обновление ПО

Контроллеры OceanStor v3 (включая OceanStor 9000) могут обновляться используя HUAWEI OceanStor Toolkit двумя способами: без прерывания сервиса (online upgrade) и с прерыванием сервиса (offline upgrade). В первом случае софт обновляется последовательно на контроллерах и как минимум один контроллер продолжает обслуживать запросы, во втором случае контроллеры обновляются одновременно, поэтому происходит простой в работе. Для завершения обновления после загрузки прошивки в обоих случаях контроллеры перезагружаются. Для Online upgrade требуется поддержка перехода с текущего софта на новый с Online upgrade в софте.

Вопросы

все вопросы/ответы по теме тут