Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Нужно уметь применять статистику (с этим часто проблема) и
    • если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
    • если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

        • count 94248.000000 – количество элементов (размер выборки)
        • mean 1.691554 – среднее
        • std 0.979690 – стандартное отклонение (величина высокая)
        • min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
        • 25% 0.396944 – 25% выборки выше этого значения
        • 50% 2.301407 – медиана (median)
        • 75% 2.348383 – 75% выборки ниже этого значения
        • max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

        • 1%
          • https://www.rfc-editor.org/rfc/rfc9693.html
  Читать дальше

Excel: разные хинты

  Читать дальше

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

  • В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
  • CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
    • Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.

  Читать дальше

Оперативная память (RAM): free, paging, swapping, commit/active/available

 

 

DDR1/2/3/4
  • SDR -> DDR -> DDR2 -> DDR3 -> DDR4 – поколения ОП.
  Читать дальше

Методы установки приложений, компиляция приложений и ядра, библиотеки

  • Через средство управления пакетами ОС (Ubuntu: apt-get, CentOS: yum, Gentoo: emerge). Пакет чаще всего имеет не последнюю версия приложения/компилятора (ruby, phantomjs), но она почти гарантированно stable и легко ставится.
Для установки приложений в среде операционной системы GNU/Linux лучше всего пользоваться средствами управления пакетами вашего дистрибутива.
  Читать дальше

Linux: инструменты компрессии и архивации (zip/gzip/bzip, tar/7zip/7zz)

Задачи архивации и сжатия делаются зачастую вместе для создания ужатых архивов ряда файлов. Пример чаще всего используемой мной команды:
# АРХИВАЦИЯ БЕЗ СЖАТИЯ И УДАЛЕНИЯ ИСХОДНЫХ ДАННЫХ (БЫСТРЕЕ ДЕЛАЕТСЯ)
tar -cf trex.tgz /opt/trex/*

# АРХИВАЦИЯ СО СЖАТИЕМ GZIP И УДАЛЕНИЕМ ИСХОДНЫХ ДАННЫХ (БЫСТРЕЕ ПЕРЕДАЕТСЯ/ЗАНИМАЕМ МЕНЬШЕ МЕСТА)
tar --remove-files -czf logs.tgz
  Читать дальше

Системное программирование (C, C++, RUST) и узкоспециализированные языки (fortran, cobol)

  • (rust, C) Значительная часть suricata написана на rust (25%), но часть C все равно значительно больше (73%).
  • (rust, C) Всего 4% кода ClamAV на rust, остальная C (80%) и C++ (9%)
  • (rust, C) apple / corecrypto – в сердце криптографии Apple ни одной строки на RUST, 80% кода C++ 😀
https://github.com/apple/corecrypto
  Читать дальше

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

  • Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель Модель Скорость Ключевые особенности Применение
NVIDIA BlueField-3

 

DPU

400 Gbps 16x ARM Cortex-A78,

 

аппаратный eBPF

Cloud security, Zero-Trust
Intel IPU E2000 200 Gbps Интеграция с Open vSwitch, поддержка QAT Виртуализация,

 

SDN

AMD/Xilinx Alveo SN1000 100 Gbps FPGA + ARM-ядра,

 

анализ TLS/SSL

Финансовый мониторинг
Marvell OCTEON 10

 

DPU

100 Gbps 8x ARM Neoverse N2,

 

аппаратный DPI

Телеком (5G UPF)

Программные методы Аппаратные методы
  AF_PACKET PF_RING /

 

PF_RING ZC

DPDK (PMD) DPDK (AF_XDP) FPGA SmartNIC
Скорость До 10 Gbps 10 Gbps

 

40-100 Gbps

До 200+ Gbps До 100 Gbps Многократные 100G порты (400G, 800G) До 200 Gbps

 

на порт

Задержка

 

(Latency)

Высокая Средняя

 

Низкая

Очень низкая Низкая Экстремально низкая детерминированная Очень низкая детерминированная
Сложность реализации Низкая (стандартный

 

API)

Средняя (свои драйверы и библиотеки) Высокая (выделенные ядра, управление памятью) Высокая

 

(работа с еВРЕ)

Очень

 

высокая (HDL/Verilog/V

HDL, RTL-дизайна)

Высокая (ASIC,

 

C/OpenCL)

Стоимость Бесплатно (входит в состав ОС) Бесплатно /

 

Платная

Бесплатно, но мощные CPU

 

совместимые NIC

Бесплатно Очень высокая Высокая
Ключевые особенности Простота использ-ниЯ, стандартность Улучшенная производите-ть.
  Читать дальше

Security: AAA (RADIUS, TACACS), Cisco ISE, Cisco DUO, Cisco TrustSec, Posture Assesment, Cisco Auth Failures

  • нормальная задача администратора – поднять radius сервер, прописать его на сетевом оборудовании, настроить интеграцию radius сервера с LDAP каталогом на windows server. В итоге ты логинишься на сетевое оборудование по доменной/AD учетной записи.
Различия Radius/Tacacs

Подробно в статьях Cisco (en/ru): 1 2 и ниже в статьях про RADIUS и TACACS.  Читать дальше