Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

Арифметической прогрессией (арифметической последовательностью) – последовательность с фиксированным инкрементом.

Читать дальше

Excel: разные хинты

  • Восстановление файлов из временных / saved / temp , директории:
C:\Users\redkin.petr\AppData\Local\Microsoft\Office\UnsavedFiles
C:\Users\redkin.petr\AppData\Roaming\Microsoft\Excel\
C:\Users\redkin.petr\Documents
=СЕГОДНЯ() Текущая дата (значения могут быть разными)
=ТДАТА() Текущие дата и время (значения могут быть разными)
  • Если хочется использовать округленное число в формуле excel, то нужно его в исходной ячейке округлить через функцию =ОКРУГЛ, а не менять форму представления ячейки.


Читать дальше

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

  • В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
  • CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI

    • Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.



Читать дальше

Network/Security: NMS monitoring/observability/management/inventory решения (Zabbix, Cacti, Nagios, MRTG, NocTools; Orange, Cisco PRIME, Arista CVP, Netcool, BMC Patrol/TrueSight, Infovista), протоколы (snmp, netflow), NMS, будущее (rpc, nats, brpc, yang/restconf/netconf); Cisco: Stealthwatch, CTA, ETA; мониторинг производительности системы (sysstat); XDR; SIEM; NTA, NAD; BGP BMP; HADAL

  • Linux Performance Observability Tools: strace ltrace ss nstat gethostlatency sar proc dmesg dstat opensnoop laof fatrace filelife pcstat execsnoop mpstat profile runqlen offcputime softirqs turbostat show boost rmdsr perf fteace LTTng BCC bpftrace ext4dist ext4slower top atop ps pidstat vmstat slabtop free tiptop perf numastat hardirqs criticalstat nicstat netstat ip lldptool snmpget ethtool tcplife tcpretrans udpconnect tcpdump perf tiptop mdflush iostat biosnoop biolatency biotop blktrace swapon

  • Мониторинг призван уменьшать значение времени исправления проблем (MTTR) или даже предотвращать возникновение аварийных ситуаций (подробнее ниже)
  • Задача классического админа, решаемая мониторингом – сделать алерты в системе мониторинга на уменьшение количества краски в принтерах
  • Существует разная глубина взросления «мониоринга» – реакция по негативному фидбеку/инцидента от пользователя, реакция на события мониторинга еще до обращения клиента, автоматизация на события мониторинга (напр.


Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Linux: логи (/var/log, dmesg, last, lastlog, lastb, history, syslog/journald)

  • https://losst.ru/kak-posmotret-logi-v-linux  – хорошая статья с указанием стандартных путей лог файлов

  • (journalctl, поиск больших файлов) Файлы journal занимали 3.7G! После безопасной чистки путем указания vacuum-time 25MB.

    -bash-4.2$ sudo du -chd 1 /var/log
    4.0K /var/log/anaconda
    72K /var/log/tuned
    4.0K /var/log/chrony
    33M /var/log/audit
    3.7G /var/log/journal

    -bash-4.2$ sudo journalctl --vacuum-time=1week

/var/log/syslog – системные (включает почти все другие логи), journald (сервис syslod) зачастую сейчас работает параллельно с syslog – journald хранит логи только в RAM, а Syslog в файле; можно этим управлять, в том числе отказом от какого либо из сервисов

/var/log/kern – логи ядра

/var/log/auth.log

Читать дальше

Linux: Docker, conrainerd, container security (hardening)

Basics
  • Container security – три основных риска/угрозы/проблемы
    • плохая конфигурация
    • проблемы runtime
    • цепочки поставок
  • Процессы контейнеров видны на “хостовой” машине в ps -aux
  • Применение bestpractice до/после

  • Установка docker на debian12 требует установку репозитория docker в систему.
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian


Читать дальше

Network: эволюция производительности сетевых устройств и трансиверов (100G, 400G, 800G)



Читать дальше

Полезные Hotkey Shortcuts (бинды)

Windows (Word/Excel/etc)
  • win + Ж / > – эмодзи/смайля по выбору 💙
  • win + > – смайлы по выбору
  • 1F400 и alt+x – смайлы по коду в word

  • win + arrow – позволяет удобно размещать окно приложения на экране, не занимаясь раздвиганиями границ окна

    • left – to the left
    • right – to the right
    • up – full screen
    • down – small screen
  • HOME – переход к началу строки (hotkey для Linux ниже)
  • END – переход к концу строки (hotkey для Linux ниже)
  • ctrl+shift+esc – открыть диспетчер задач
  • ctrl+shift+home (в notepad точно работает)- выделить всё от текущего места до начала файла.


Читать дальше

Network, Security: DoS/DDoS

  • Самые мощные атаки РФ (по миру актуальная атака на клиента CF 8 tbps в конце статьи): 150 гбит / 1.5 терабит ; 15 MPPS / 150 MPPS ; сутки / трое в 2023 / 2024 соответственно

The Cybersecurity and Infrastructure Security Agency (CISA), the Federal Bureau of Investigation (FBI), and the Multi-State Information Sharing and Analysis Center (MS-ISAC) are releasing this joint distributed denial-of-service (DDoS) attack guidance
  • Очень хороший мануал от Juniper с описанием атак и методов защиты от них в JunOS
  • БИФИТ Mitigator – Российское решение на базе стандартных серверов
  • Статья по тюнингу параметров ядра Linux для большей устойчивости в DoS/DDoS сценариях (настройки серверные)
  • Некоторое саммари:
    • сценариев DoS атак не мало, даже в крупных провайдерах регулярно происходят инциденты, связанные с падением каких-то сервисов из-за DoS (BRAS – от внешнего флуда, от внутреннего флуда/запросов)
    • для базы защиты можно и самому fastnetmon поднять, а от target атаки за много $$$ и radware/arbor не спасет, только центры очистки или свой cdn грамотный (и то не всегда)
    • линк с чисткой может легко стоить х10 и х100 от обычного

 

DOS/DDOS теория

DOS/DDOS (dns lookup, half-open attacks like syn flood; ddos = dos + botnet => flood guard) – отправляем большое количество каких-либо пакетов/запросов/ответов для отказа в обслуживании сервиса из-за нехватки ресурсов (процессинговых, памяти, сетевых и проч).

Читать дальше