SQL и базы данных: основы (индексы, ключи, нормализация), примеры SQL запросов, работа с таблицами CREATE, DROP, EDIT; использование SELECT (join, distinct, enlosed, like, sum, etc); балансировка/масштабирование (шардирование, репликация), TMDB (time series database)

  • http://sqlfiddle.com/ – очень удобный сайт по экспериментам с SQL (запросы, создание страниц и проч.)
  • https://dbfiddle.uk/Gx3c6fmQ – аналогично, с примером
основные инструменты SQL/NoSQL; big data; analytics
    • хранение
      • mysql/oracle/postres (более в почете сейчас последний, в том числе для bigdata в виде greenplum и TSDB в виде TimescaleDB)
      • OpenTSDB (Time Series Database)
      • redis
      • s3
      • elk – часто используется для логов
      • clickhouse
      • log stash
    • визуализация
      • Kibana
    • поиск по данным
      • ElasticSearch
Отдельные статьи
Time series database

В основном на основе статьи из habr

A time series database (TSDB) is a software system that is optimized for storing and serving time series through associated pairs of time(s) and value(s).


Читать дальше

Linux: перезагрузка/отключение системы (reboot, shutdown, halt, poweroff)

Отключение

Soft-отключение системы прямо сейчас.

shutdown now

Soft-отключение системы через 60 минут.

shutdown -h +60 "Shutting down in 60 minutes. Be a dear and log out before then."

Hard-отключение системы прямо сейчас.

halt
poweroff

Перезагрузка

Перезагрузка прямо сейчас. Команды reboot/shutdown перезагружают систему по разному.

Читать дальше

Network: IPv4, IPv6 протоколы (фрагментация, флаги, nat, вопросы)

  • У любого статического маршрута метрика 0 по умолчанию (Cisco)

  • IP unnumbered позволяет обрабатывать пакеты без настройки IP-адреса на интерфейсе. Это работает путем “заимствования” IР-адреса у другого интерфейса.

  • RIPE рекомендовал не принимать анонсы больше /24, большинство операторов придерживаются этого правила. Если хочется анонсировать префиксы большего размера (напр.


Читать дальше

Cisco разное (ааа, logs, cli, etc)

  • Cisco остается лидером по многим сетевым направлениям
  • Я вспоминаю как Cisco вечно пытались отжать поставку связываясь напрямую с заказчиком.
  • Reload in не модно, сейчас модно/правильно использовать функционал revert timer
configure terminal revert timer 5
configure terminal revert timer idle 5
configure revert now
configure confirm
  • Настройка native vlan на роутере Cisco
В топологии Router-on-a-Stick мы можем настроить Native vlan на sub-интерфейсе:
Router(config-if)#interface GigabitEthernet 0/0.12 Router(config-subif)#encapsulation dot1Q 12 native
  • Сбор объемного вывода.


Читать дальше

Network: multicast (igmp, pim, rpf)

 

  • – 233.33.210.176 источник или получатель?

Получатель

Для предотвращения петель мультикастовый маршрутизатор использует два механизма:

  1. Мультикастовый трафик не отправляется через интерфейс, откуда он был получен.
  2. Использование проверки RPF (Reverse Path Forwarding). Маршрутизатор проверяет маршрут до сети источника мультикастового трафика. Если маршрут до источника через приходящий интерфейс отсутствует, то полученный мультикастовый трафик на этом интерфейсе отбрасывается.


Читать дальше

Network: BFD, UDLD, CCM

Seamless BFD (RFC 7880) – легковесная альтернатива классическому BFD, в частности за счёт исключения необходимости в первичном согласовании параметров между конечными точками. Для IS-IS/OSPF уже есть расширения, позволяющие передавать данные о S-BFD discriminators всем устройствам, на которых этот протокол активирован.

ERPS CCM (Continuity Check Message) выполняет задачу обнаружения сбоя L2 канала при наличии линка.

Читать дальше

MySQL/MariaDB: разное

  • Установка mysql на Centos 7 подробно описана тут.
  • .mysql_history – в этом файле в домашней директории хранится история команд, введенных в консоли mysql.
  • Ошибка “ERROR 1114 (HY000) at line 1192: The table ‘<name>’ is full” может говорить не о достижения предела таблицы mysql или базы, а о том, что закончилось место на диске.


Читать дальше

Linux: user & group management

Короткий список команд для создания пользователя

Создание пользователя. В файле /etc/passwd  хранятся все пользователи (бекап в /etc/passwd-).
sudo useradd -m -s /bin/bash weril
sudo passwd weril
sudo login weril - тестово логинемся
sudo passwd -e weril - (expire) делаем пароль протухшим (после авторизации пользователя заставят поменять пароль)
# sudo passwd -l weril - (lock) блокируем пользователя
sudo vi /etc/ssh/sshd_config - добавляем в AllowUsers в sshd (AllowUsers <username>@*)
sudo /etc/init.d/sshd


Читать дальше

Hardware: ASIC, FPGA (ПЛИС), SoC

  • Fpga = плис = Программи́руемая логи́ческая интегра́льная схе́ма (на печатной плате)
  • Есть Китайские ПЛИС, есть даже Воронежские (для специальных задач)
  • ”CPU и FPGA – микросхемы общего применения, туда спецзакладку для сети запихивать накладно, а вот в специализированный сетевой чип, который примерно весь Blackbox со своими закрытыми процами внутри – святое дело)” (c)
  • Язык Verilog/VHDL.


Читать дальше

Network, Linux: link aggregation, LAG, portchannel, lacp, aggregated ethernet, MLAG, VPC, teaming, bonding

  • Энтропия hash в зависимости от адресной информации – важный вопрос при распределении трафика. Подробнее в RSS.
  • У Juniper есть mixed rates aggregated ethernet, который позволяет объединить в LAG порты с разной сокрости, причем используя по максимуму пропускную способность каждого порта, пересчитывая соответственно hash.


Читать дальше