Category: Misc

Excel: разные хинты

  Читать дальше

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

  • (Security, Virtualization) Все что надо знать о безопасности гипервизоров: 
    Гипервизор Xen разрешил гостевым системам взламывать хосты

Разработчики гипервизора Xen выкатили пачку экстренных обновлений, закрывающих сразу двадцать уязвимостей. И если восемь из них просто приводят к отказу в обслуживании или утечке памяти, то оставшиеся двенадцать полностью умножают на ноль саму концепцию виртуализации.
  Читать дальше

Процессор (CPU): Architecture, Cache, QPI, Hyper-Threading, AES-NI, clock speed/cycles (MHz, GHz), Intel Compilers, NUMA, counters, temperature

Информация собрана из разных мест, часть как конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

  • DMA — это механизм, с помощью которого аппаратное устройство может передавать данные в память или из нее без использования процессора. Процессор требуется для настройки передачи, и устройство будет сигнализировать процессору, когда он завершит передачу.
  Читать дальше

Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Нужно уметь применять статистику (с этим часто проблема) и
    • если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
    • если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

        • count 94248.000000 – количество элементов (размер выборки)
        • mean 1.691554 – среднее
        • std 0.979690 – стандартное отклонение (величина высокая)
        • min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
        • 25% 0.396944 – 25% выборки выше этого значения
        • 50% 2.301407 – медиана (median)
        • 75% 2.348383 – 75% выборки ниже этого значения
        • max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

        • 1%
          • https://www.rfc-editor.org/rfc/rfc9693.html
  Читать дальше

Методы установки приложений, компиляция приложений и ядра, библиотеки

  • Через средство управления пакетами ОС (Ubuntu: apt-get, CentOS: yum, Gentoo: emerge). Пакет чаще всего имеет не последнюю версия приложения/компилятора (ruby, phantomjs), но она почти гарантированно stable и легко ставится.
Для установки приложений в среде операционной системы GNU/Linux лучше всего пользоваться средствами управления пакетами вашего дистрибутива.
  Читать дальше

Linux, работа с дисками – разделы, файлы-папки, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/rmdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

  • Отдельная статья про оперативную память
  • Отдельная статья про диски (эта)
  • Отдельная статья про права
  • (Disk, enterprise) Mirror.yandex.ru: Storage
    • В текущий момент на трех серверах zfs, на трех серверах использует ext4 (не смог переехать на них на zfs из-за зависимости от старого пропатченного командой storage яндексом драйвера hba как контроллера sas и версии ядра linux для дисковой полки этих серверов; в итоге ядро и драйвер не поменять, а на старом ядре только древняя версия zfs), плюс что если будут проблемы уровня ФС они будут не везде 🙂
    • Планомерно мигрирует storage (все новые репы заводит там) с локального хранения на S3 yandex, но отказываться полностью от локального хранения не планирует (защита от кейса аварии в S3 яндекса и нужны будут недоступные дистрибутивы с зеркала).
  Читать дальше

Популярные WEB сервера и заметки о них (apache/httpd, nginx)

Сравнение WEB можно посмотреть тут

  • nginx; tengine (alibaba nginx) – по сути community industry standard, особенно в высокопроизводительных решениях.
  • apache – данный блог на apache, проблем из-за этого не было. Лично у меня к нему даже несколько большее доверие т.к. он как поддерживался, так и поддерживается Apache Foundation, в отличии от NGINX, из которого ушел основатель.
  Читать дальше

SQL и базы данных: основы (индексы, ключи, нормализация), примеры SQL запросов, работа с таблицами CREATE, DROP, EDIT; использование SELECT (join, distinct, enlosed, like, sum, etc); балансировка/масштабирование (шардирование, репликация), TMDB (time series database)

  • http://sqlfiddle.com/ – очень удобный сайт по экспериментам с SQL (запросы, создание страниц и проч.)
  • https://dbfiddle.uk/Gx3c6fmQ – аналогично, с примером
основные инструменты SQL/NoSQL; big data; analytics
    • хранение
      • mysql/oracle/postres (более в почете сейчас последний, в том числе для bigdata в виде greenplum и TSDB в виде TimescaleDB)
      • OpenTSDB (Time Series Database)
      • redis
      • s3
      • elk – часто используется для логов
      • clickhouse
      • log stash
    • визуализация
      • Kibana
    • поиск по данным
      • ElasticSearch
Отдельные статьи
Time series database

В основном на основе статьи из habr

A time series database (TSDB) is a software system that is optimized for storing and serving time series through associated pairs of time(s) and value(s).
  Читать дальше

WordPress разные хинты

Разное
  • Usage статистика WordPress по  используемым версиях WordPress, PHP, Mysql, locale, etc
  • Для проигрывания GIF нужно выбирать full size при insert картинки в пост, иначе она будет статичной
  • Чтобы постить source-code почти без изменений (скобки пришлось подменять все равно) нужно использовать плагин SyntaxHighlighter.
  Читать дальше

IoT, протоколы, умный дом и умные девайсы

  • Про безопасность IoT устройств читаем тут. Короткий ролик про IoT протоколы от Droider.
  • (Wifi, IoT, security) Изоляция умной техники дома (защита от взлома хостов домашней сети с уязвимого устройства умного дома) возможна на роутере без отдельного ssid через функционал Изоляция Wi-Fi сети по SSID.
  Читать дальше