Category: Storage

Linux, работа с дисками – разделы, файлы-папки, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/rmdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

  • Отдельная статья про оперативную память
  • Отдельная статья про диски (эта)
  • Отдельная статья про права
  • (Disk, enterprise) Mirror.yandex.ru: Storage
    • В текущий момент на трех серверах zfs, на трех серверах использует ext4 (не смог переехать на них на zfs из-за зависимости от старого пропатченного командой storage яндексом драйвера hba как контроллера sas и версии ядра linux для дисковой полки этих серверов; в итоге ядро и драйвер не поменять, а на старом ядре только древняя версия zfs), плюс что если будут проблемы уровня ФС они будут не везде 🙂
    • Планомерно мигрирует storage (все новые репы заводит там) с локального хранения на S3 yandex, но отказываться полностью от локального хранения не планирует (защита от кейса аварии в S3 яндекса и нужны будут недоступные дистрибутивы с зеркала).
  Читать дальше

Основы Big data

Palantir Technologies делает не «еще один искусственный интеллект» и не обычную базу данных. Компания продает платформы, которые соединяют разрозненные сведения, строят связи между людьми, объектами, событиями и процессами, а затем дают аналитикам интерфейс для решений.
  Читать дальше

Резервное копирование

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

Связанные по вебинару посты:

Разное:

  • (Резервное копирование, LVM) Если говорить в целом про snapshot:
    • snapshot =! Backup как минимум потому, что
      • он обычно хранит только diff от данных от текущего состояния системы и того состояния, которое было при снятии snapshot
      • snapshot хранятся на тех же носителях, что и основная система
    • snapshot на storage/СХД (EMC/IBM) устройствах
      • snapshot используются на всю катушку – есть банки которые все бекапы делают только на них -> напр, каждые 15мин делается snapshot всей базы и их хранятся сотни штук
      • разработчики таких устройств поддерживают использование snapshot, но полноценные backup это не snapshot, рекомендуется использовать snapshot + backup
    • удобно и правильно комбинировать snapshot и backup – snapshot получаешь консисентное состояние в один момент времени всех элементов системы (к примеру файлов сайта и файлов БД), а backup-ом это состояние уже сохраняешь, при этом нужно учитывать, что иногда при снятии snapshot есть некоторое «подмораживание системы на запись» на некоторое время
  • (Обучение Lpic-2) Делать бекапы очень важно (в том числе на ленте/ленточном хранилище – подробнее про ленты ниже), сценариев потери данных без бекапов миллион и тележка
    • почистили память RAID контроллера и весь RAID потерял данные (восстановление с ленты)
    • обновили записи в БД и вместо того, чтоб обновление получил один оно привело к апдейту у 700к  (спас лог транзакций Oracle)
  • (Обучение Lpic-2) Ленты вообще используется очень часто в крупных компаниях, особенно банках (включая зеленый – за разными RAID/СХД “обязана” быть лента, с которой если что можно восстановится ; «3 года должно быть хранение в банках, как без ленты») – ленты позволяют хранить огромные объемы данных дешевле (1 картридж до 50ТБ) и дольше/надежнее, чем на других носителях

  • Backup желательно делать с отключенным сервисом, backup которого делается.
  Читать дальше

МФУ Brother DCP-L2520DWR

Качественный и их берут много.

Из по настоящему крутых вещей:

  • Двухсторонняя печать
  • Wifi
  • Airprint
  • Любая ОС (даже Linux)

Картриджи

Картриджи это отдельный плюс – он не чипованный, это прекрасно. Покупать картридж нужно сразу т.к. в комплекте картридж с небольшим количеством краски (ДО 700 стр, когда стаднартный 2600).  Читать дальше

HCNA Storage вопросы/ответы

Question/answers Huawei HCNA Storage BCCP H13-612 из разных источников (mock, вопросы honorcup и с сайта Huawei) единым списком для удобства подготовки. Это не dumps, а те дампы, которые есть, они не имеют отношения к текущему HCNA Storage – то что я видел были для старого Storage.  Читать дальше

Резервное копирование, решение Huawei

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

Связанные по вебинару посты:

Huawei OceanStor VTL6900 – виртуальные ленточные библиотеки (Virtual Tape Library), применяются в основном для backup и/или архивации данных.  Читать дальше

Восстановление после катастроф

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

Связанные по вебинару посты:

Крупные компании типо страховых/банков, гос. учреждения – основные пользователи решений восстановления после катастроф (Disaster Recovery, DR).  Читать дальше

Дедупликация данных

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

UKSM – пример технологии, использующей дедупликацию для ускорения работы.

Связанные по вебинару посты:

Определение из wiki:

Дедупликация (также дедубликация; от лат.  Читать дальше

SAN на базе IP

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

IP SAN – способ построения сети хранения поверх транспортной сети TCP/IP (на L2 может быть Ethernet или даже Wi-Fi). Для реализации IP SAN чаще всего используется протокол iSCSI. SCSI – де факто отраслевой стандарт передачи данных между приложением и СХД, а iSCSI (internet SCSI) позволил использовать его в IP сетях.  Читать дальше

Основы Big data, решение Huawei

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

Huawei OceanStor 9000 – СХД Huawei для работы с BigData. В основе СХД лежит объектное хранение данных (OBS) с доступом  к объектам через API (S3/swift) и файловая система HDFS (подробнее в статье Big Data).  Читать дальше