Coding: Python

  • Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
  • Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.


Читать дальше

Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

Арифметической прогрессией (арифметической последовательностью) – последовательность с фиксированным инкрементом.

Читать дальше

Linux: обновление приложений, ОС и драйверов в UBUNTU/Debian, установка системы

  • Аналог статьи про CentOS
  • Debian 10 в web VM: https://webvm.io/
  • (ubuntu/debian, OS loading) В ubuntu есть lifepatching, который позволяет обновить ядро и systemd без перезагрузки как системы, так и сервисов!
  • (Centos, Ubuntu) PackageKit — открытый и свободный набор приложений для обеспечения высокоуровнего интерфейса для различных пакетных менеджеров.


Читать дальше

Популярные WEB сервера и заметки о них (apache/httpd, nginx)

Сравнение можно посмотреть тут

  • nginx; tengine (alibaba nginx)
  • apache
  • iis (deprecated)
  • apache tomcat

Apache обычно используется для отдачи статики, nginx для динамики. Данный блог на apache, проблем из-за этого не было.

 

basic auth

Самая простая/базовая (очевидно) аутентификация клиента сервером. На запрос аутентификации креды отсылаются закодированными (не зашифрованными/захешированными) base64.

Читать дальше

Curl/wget разное

https://httpie.org/ – а еще есть такая “модная” альтернатива curl/wget

 

CURL

  • При генерации такого предупреждения CURL может сбрасывать соединение и по факту не докачивать файл, нужно всегда в случае файлов скачивать их с указанием –output и пути до файла (можно /dev/null)
Warning: Binary output can mess up your terminal.


Читать дальше

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

  • Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель Модель Скорость Ключевые особенности Применение
NVIDIA BlueField-3

 

DPU

 400 Gbps 16x ARM Cortex-A78,

 

аппаратный eBPF

 Cloud security, Zero-Trust
Intel IPU E2000 200 Gbps Интеграция с Open vSwitch, поддержка QAT Виртуализация,

 

SDN
AMD/Xilinx Alveo SN1000 100 Gbps FPGA + ARM-ядра,

 

анализ TLS/SSL

 Финансовый мониторинг
Marvell OCTEON 10

 

DPU

 100 Gbps 8x ARM Neoverse N2,

 

аппаратный DPI

 Телеком (5G UPF)

Программные методы Аппаратные методы
  AF_PACKET PF_RING /

 

PF_RING ZC

 DPDK (PMD) DPDK (AF_XDP) FPGA SmartNIC
Скорость До 10 Gbps 10 Gbps

 

40-100 Gbps

 До 200+ Gbps До 100 Gbps Многократные 100G порты (400G, 800G) До 200 Gbps

 

на порт
Задержка

 

(Latency)

 Высокая Средняя

 

Низкая

 Очень низкая Низкая Экстремально низкая детерминированная Очень низкая детерминированная
Сложность реализации Низкая (стандартный

 

API)

 Средняя (свои драйверы и библиотеки) Высокая (выделенные ядра, управление памятью) Высокая

 

(работа с еВРЕ)

 Очень

 

высокая (HDL/Verilog/V

HDL, RTL-дизайна)

 Высокая (ASIC,

 

C/OpenCL)
Стоимость Бесплатно (входит в состав ОС) Бесплатно /

 

Платная

 Бесплатно, но мощные CPU

 

совместимые NIC

 Бесплатно Очень высокая Высокая
Ключевые особенности Простота использ-ниЯ, стандартность Улучшенная производите-ть.


Читать дальше

Network/Security: NMS monitoring/observability/management/inventory решения (Zabbix, Cacti, Nagios, MRTG, NocTools; Orange, Cisco PRIME, Arista CVP, Netcool, BMC Patrol/TrueSight, Infovista), протоколы (snmp, netflow), NMS, будущее (rpc, nats, brpc, yang/restconf/netconf); Cisco: Stealthwatch, CTA, ETA; мониторинг производительности системы (sysstat); XDR; SIEM; NTA, NAD; BGP BMP; HADAL

  • Linux Performance Observability Tools: strace ltrace ss nstat gethostlatency sar proc dmesg dstat opensnoop laof fatrace filelife pcstat execsnoop mpstat profile runqlen offcputime softirqs turbostat show boost rmdsr perf fteace LTTng BCC bpftrace ext4dist ext4slower top atop ps pidstat vmstat slabtop free tiptop perf numastat hardirqs criticalstat nicstat netstat ip lldptool snmpget ethtool tcplife tcpretrans udpconnect tcpdump perf tiptop mdflush iostat biosnoop biolatency biotop blktrace swapon

  • Мониторинг призван уменьшать значение времени исправления проблем (MTTR) или даже предотвращать возникновение аварийных ситуаций (подробнее ниже)
  • Задача классического админа, решаемая мониторингом – сделать алерты в системе мониторинга на уменьшение количества краски в принтерах
  • Существует разная глубина взросления «мониоринга» – реакция по негативному фидбеку/инцидента от пользователя, реакция на события мониторинга еще до обращения клиента, автоматизация на события мониторинга (напр.


Читать дальше

Linux: bash спец. символы, man, переменные (> >> $ & # ~/$HOME $USER \ | /n \t ^M $? * ; ()), redirect stdout/stderr, ALIAS, bashrc, profile; программирование в bash (полезные скрипты, получение опций в скриптах, функции, условия, циклы, case, массивы)

~ echo $SHELL
/bin/bash

bash-3.2$ echo $SHELL   # MACOS
/bin/zsh

  • (ping, nmap, xargs, bash) Ping целой подсети /24 в 253 потока.



Читать дальше

IoT, протоколы, умный дом и умные девайсы

Про безопасность IoT устройств читаем тут. Короткий ролик про IoT протоколы от Droider.

 

 SMART CITY

IoT вплотную внедряется – в Минске уличное освещение управляется и мониторится через 3G/LTE ОПСОСа. Такое освещение более экономно. В довольно древнем ролике по ссылке столбы от IntelliStreets освещения супер-digital, причем с аплинком по radio (видимо 3G/LTE) и функционалом: возможность записи/мониторинга ситуации на дорогах (камеры/микрофоны), громкоговорители, небольшие встроенные digital рекламные банеры, небольшие digital указатели.

Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше