Linux – Weril

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель	Модель	Скорость	Ключевые особенности	Применение
NVIDIA	BlueField-3 DPU	400 Gbps	16x ARM Cortex-A78, аппаратный eBPF	Cloud security, Zero-Trust
Intel	IPU E2000	200 Gbps	Интеграция с Open vSwitch, поддержка QAT	Виртуализация, SDN
AMD/Xilinx	Alveo SN1000	100 Gbps	FPGA + ARM-ядра, анализ TLS/SSL	Финансовый мониторинг
Marvell	OCTEON 10 DPU	100 Gbps	8x ARM Neoverse N2, аппаратный DPI	Телеком (5G UPF)

Программные методы					Аппаратные методы
	AF_PACKET	PF_RING / PF_RING ZC	DPDK (PMD)	DPDK (AF_XDP)	FPGA	SmartNIC
Скорость	До 10 Gbps	10 Gbps 40-100 Gbps	До 200+ Gbps	До 100 Gbps	Многократные 100G порты (400G, 800G)	До 200 Gbps на порт
Задержка (Latency)	Высокая	Средняя Низкая	Очень низкая	Низкая	Экстремально низкая детерминированная	Очень низкая детерминированная
Сложность реализации	Низкая (стандартный API)	Средняя (свои драйверы и библиотеки)	Высокая (выделенные ядра, управление памятью)	Высокая (работа с еВРЕ)	Очень высокая (HDL/Verilog/V HDL, RTL-дизайна)	Высокая (ASIC, C/OpenCL)
Стоимость	Бесплатно (входит в состав ОС)	Бесплатно / Платная	Бесплатно, но мощные CPU совместимые NIC	Бесплатно	Очень высокая	Высокая
Ключевые особенности	Простота использ-ниЯ, стандартность	Улучшенная производите-ть.

Linux: работа с текстом (fmt, sed, awk, tr, cut, cat/tac, tee, column, uniq, sort, paste)

GREP в отдельной статье

fmt

примеры есть в cheat.sh
вариаций форматирования много

Форматирование данных на входе – к примеру по умолчанию fmt осуществит форматирование, которое приведет к лучшему чтению:

- объединение слов в одну строку если слов мало в каждой строке
- или наоборот, вместо одной длиной строки сделает несколько коротких

root@serv:~# cat >sw
Hello
world
and
not
world
root@serv:~# fmt sw
Hello world and not world

root@spr:~# cat >sw
Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world
root@spr:~# fmt sw
Hello world and not world Hello world and not 
world Hello world and not world Hello world 
and not world Hello world and not world 
Hello world and not world

paste

paste with delimiter (paste с отличным от default delimiter):

paste -d ';' load.csv

NIC, Linux: работа с NIC, с сетевыми интерфейсами

BASIC

COMPARING NET-TOOLS VS. IPROUTE PACKAGE COMMANDS
Очереди сетевой карты (NIC queues), также известные как кольцевые буферы (ring buffers), используют оперативную память (RAM) компьютера, а не внутреннюю память самой карты. Очереди приема (Rx) и передачи (Tx) представляют собой области в системной RAM, которые выделяются драйвером сетевой карты при инициализации.

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное

(Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.

Linux: обновление приложений, ОС и драйверов в UBUNTU/Debian, установка системы

Аналог статьи про CentOS
Debian 10 в web VM: https://webvm.io/
(ubuntu/debian, OS loading) В ubuntu есть lifepatching, который позволяет обновить ядро и systemd без перезагрузки как системы, так и сервисов!
(Centos, Ubuntu) PackageKit — открытый и свободный набор приложений для обеспечения высокоуровнего интерфейса для различных пакетных менеджеров.

Linux/BSD: популярные дистрибутивы (general, network)

Когда то считалось что Linux самая безопасная ОС, но сейчас – ОС самым большим количеством CVE за год (2025), в 5 раз больше чем у Windows

Корпоративный сегмент: грубо говоря 45% debian (ubuntu+debian+raspbian), 45% rhel (centos+rhel+fedora), 10% остальные
Популярные дистрибутивы могут выбирать не самую продолжительную (отличную от Long term support, LTS) по поддержке сборку Linux Kernel для своей работы (напр.

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
- Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.

Linux: работа с утилитой grep (egrep, zgrep, rgrep, etc)

У особо душных зачастую вызывает недоумение – зачем открывать через cat файл, который потом передается в grep. Отвечаю – часто ты открываешь сначала файл чтобы посмотреть в целом что там есть, а уже после первого просмотра передаешь в grep. У многих такой паттерн вошел в привычку – вот пример обучения по Linux LPIC-1 🙂 препод максимально опытный админстратор Linux (с начала 90х)

У grep 1001 alias, вот список из man.

Читать дальше

Linux: bash спец. символы, man, переменные (> >> $ & # ~/$HOME $USER \ | /n \t ^M $? * ; ()), redirect stdout/stderr, ALIAS, bashrc, profile; программирование в bash (полезные скрипты, получение опций в скриптах, функции, условия, циклы, case, массивы)

Отдельные статьи:
- Linux xargs: запуск утилит на список, простая многопоточность в bash
- Linux: работа с числами (bc, dc, expr)
В Bash для вывода всех переменных окружения (environment variables) используются команды
- env
- printenv
Узнать какой SHELL

~ echo $SHELL
/bin/bash

bash-3.2$ echo $SHELL   # MACOS
/bin/zsh

(ping, nmap, xargs, bash) Ping целой подсети /24 в 253 потока.

Методы установки приложений, компиляция приложений и ядра, библиотеки

Через средство управления пакетами ОС (Ubuntu: apt-get, CentOS: yum, Gentoo: emerge). Пакет чаще всего имеет не последнюю версия приложения/компилятора (ruby, phantomjs), но она почти гарантированно stable и легко ставится.

Для установки приложений в среде операционной системы GNU/Linux лучше всего пользоваться средствами управления пакетами вашего дистрибутива.