Статистика и математика в IT

Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.

Арифметической прогрессией (арифметической последовательностью) – последовательность с фиксированным инкрементом. Для меня

Арифметической прогрессией (арифметической последовательностью) - называется последовательность чисел a1,a2,...,an,


Читать дальше

Network/Security: NMS monitoring/observability/management/inventory решения (Zabbix, Cacti, Nagios, MRTG, NocTools; Orange, Cisco PRIME, Arista CVP, Netcool, BMC Patrol/TrueSight, Infovista), протоколы (snmp, netflow), NMS, будущее (rpc, nats, brpc, yang/restconf/netconf); Cisco: Stealthwatch, CTA, ETA; мониторинг производительности системы (sysstat); XDR; SIEM; NTA, NAD; BGP BMP; HADAL

  • Linux Performance Observability Tools: strace ltrace ss nstat gethostlatency sar proc dmesg dstat opensnoop laof fatrace filelife pcstat execsnoop mpstat profile runqlen offcputime softirqs turbostat show boost rmdsr perf fteace LTTng BCC bpftrace ext4dist ext4slower top atop ps pidstat vmstat slabtop free tiptop perf numastat hardirqs criticalstat nicstat netstat ip lldptool snmpget ethtool tcplife tcpretrans udpconnect tcpdump perf tiptop mdflush iostat biosnoop biolatency biotop blktrace swapon

  • Мониторинг призван уменьшать значение времени исправления проблем (MTTR) или даже предотвращать возникновение аварийных ситуаций (подробнее ниже)
  • Задача классического админа, решаемая мониторингом – сделать алерты в системе мониторинга на уменьшение количества краски в принтерах
  • Существует разная глубина взросления «мониоринга» – реакция по негативному фидбеку/инцидента от пользователя, реакция на события мониторинга еще до обращения клиента, автоматизация на события мониторинга (напр.


Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Linux: логи (/var/log, dmesg, last, lastlog, lastb, history, syslog/journald)

  • https://losst.ru/kak-posmotret-logi-v-linux  – хорошая статья с указанием стандартных путей лог файлов
  • (journalctl, поиск больших файлов) Файлы journal занимали 3.7G! После безопасной чистки путем указания vacuum-time 25MB.

    -bash-4.2$ sudo du -chd 1 /var/log
    4.0K /var/log/anaconda
    72K /var/log/tuned
    4.0K /var/log/chrony
    33M /var/log/audit
    3.7G /var/log/journal

    -bash-4.2$ sudo journalctl --vacuum-time=1week

/var/log/syslog – системные (включает почти все другие логи), journald (сервис syslod) зачастую сейчас работает параллельно с syslog – journald хранит логи только в RAM, а Syslog в файле; можно этим управлять, в том числе отказом от какого либо из сервисов

/var/log/kern – логи ядра

/var/log/auth.log

Читать дальше

Linux: Docker, conrainerd, container security (hardening)

Basics
  • Container security – три основных риска/угрозы/проблемы
    • плохая конфигурация
    • проблемы runtime
    • цепочки поставок
  • Процессы контейнеров видны на “хостовой” машине в ps -aux
  • Применение bestpractice до/после

  • Установка docker на debian12 требует установку репозитория docker в систему.
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian


Читать дальше

Network: эволюция производительности сетевых устройств и трансиверов (100G, 400G, 800G)



Читать дальше

Network: стандарты Ethernet 802.3 (поля, скорость, LLC, SNAP, MTU, CSMA/CD, carrier delay, MAC address)

Разное
  • На коммутаторах Cisco, если автосогласование было неуспешно, то режим дуплекса будет таким: если скорость 10 или 100 Мбит/с – half-duplex; если выше – full-duplex.

  • В Японии выпустили патч-корд с магнитным разъёмом, Новинку представил бренд Sanwa. Главной особенностью кабеля KB-SL6ABA (Cat.



Читать дальше

Coding: архитектура, программирование и разработка, подходы, best practices, devops, containers (k8s, docker, nomad, mesos), releases, waterfall/agile, scrum, sprints, CI/CD, Serverless computing, Microservice Architecture; ITIL/IT management; shift left ; KISS/SSOT; балансировка/шардирование; документирование

  • о code review / код ревью

  • (Мониторинг, devops) Как tivoli менеджер проникся puppet и практиками devops для эксплуатации


Развитие технология, изменение стеков, изменение подходов
  • Era: mainframe – client/server – cloud
  • Language: cobol – c – java
  • Cycle time: Years – months – weeks
  • Costs: Billion – million – 100k
  • Risks: company – product – feature

Разные цели эксплуатации и разработки (operations & development)


Программирование Best Practices

  • Почему все не стоит писать на С: Потому что в абсолютном большинстве веб приложений бутылочным горлышком является база данных, а не код приложения.



Читать дальше

Coding: Python

  • Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
  • Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.


Читать дальше

Полезные Hotkey Shortcuts (бинды)

Windows (Word/Excel/etc)
  • win + Ж / > – эмодзи/смайля по выбору 💙
  • win + > – смайлы по выбору
  • 1F400 и alt+x – смайлы по коду в word
  • win + arrow – позволяет удобно размещать окно приложения на экране, не занимаясь раздвиганиями границ окна

    • left – to the left
    • right – to the right
    • up – full screen
    • down – small screen
  • HOME – переход к началу строки (hotkey для Linux ниже)
  • END – переход к концу строки (hotkey для Linux ниже)
  • ctrl+shift+esc – открыть диспетчер задач
  • ctrl+shift+home (в notepad точно работает)- выделить всё от текущего места до начала файла.


Читать дальше