Weril – Page 3

Linux: ядро (kernel), процессы /proc в ОС и работа с ними (proc, ps, lsof, nice, kill, killall, top, lscpu, interrupts, smp irq affinity, isolcpus, taskset, cpuset/cset shield), утилизация процессора (user/system/idle/iowait/softirq)

Linux interactive kernel map

kernel parameters /proc/cmdline (можно редактировать конфигом GRUB)
kernel parameters modification /etc/sysctl.conf
(Linux Kernel, Security, Coding practices/релизные циклы)
Интересное из https://portal.linuxtesting.ru/about-linux-kernel.html#main
- У ядра Linux примерно двухмесячный релизный цикл. Согласно статистике собранной за 10 последних лет, в работе над каждой версией ядра принимает участие более 1600 различных разработчиков, которые делают в среднем 7 изменений в ядро каждый час (непрерывно в течение 10 лет!),

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель	Модель	Скорость	Ключевые особенности	Применение
NVIDIA	BlueField-3 DPU	400 Gbps	16x ARM Cortex-A78, аппаратный eBPF	Cloud security, Zero-Trust
Intel	IPU E2000	200 Gbps	Интеграция с Open vSwitch, поддержка QAT	Виртуализация, SDN
AMD/Xilinx	Alveo SN1000	100 Gbps	FPGA + ARM-ядра, анализ TLS/SSL	Финансовый мониторинг
Marvell	OCTEON 10 DPU	100 Gbps	8x ARM Neoverse N2, аппаратный DPI	Телеком (5G UPF)

Программные методы					Аппаратные методы
	AF_PACKET	PF_RING / PF_RING ZC	DPDK (PMD)	DPDK (AF_XDP)	FPGA	SmartNIC
Скорость	До 10 Gbps	10 Gbps 40-100 Gbps	До 200+ Gbps	До 100 Gbps	Многократные 100G порты (400G, 800G)	До 200 Gbps на порт
Задержка (Latency)	Высокая	Средняя Низкая	Очень низкая	Низкая	Экстремально низкая детерминированная	Очень низкая детерминированная
Сложность реализации	Низкая (стандартный API)	Средняя (свои драйверы и библиотеки)	Высокая (выделенные ядра, управление памятью)	Высокая (работа с еВРЕ)	Очень высокая (HDL/Verilog/V HDL, RTL-дизайна)	Высокая (ASIC, C/OpenCL)
Стоимость	Бесплатно (входит в состав ОС)	Бесплатно / Платная	Бесплатно, но мощные CPU совместимые NIC	Бесплатно	Очень высокая	Высокая
Ключевые особенности	Простота использ-ниЯ, стандартность	Улучшенная производите-ть.

Linux: ssh (конфигурация, 2FA, туннели, примеры подключения, автологин, удаление сессий, radius, скрипты, туннелирование, проксирование)

SSH3 (seclab) – протокол по функционалу близкий к ssh поверх QUIC (есть реализаци клиента и сервера), название скорее неудачное, но в целом проект интересный – напр. маскировка под HTTPS, скорость за счет ускорения handshake, проброс не только TCP, но и UDP портов; встроенный в quic “mobile IP”, «вести себя как web сервер пока не получим нужный id», нативная поддержка oauth, поддержка сертификатов x.509.

Security: AAA (RADIUS, TACACS), Cisco ISE, Cisco DUO, Cisco TrustSec, Posture Assesment, Cisco Auth Failures

нормальная задача администратора – поднять radius сервер, прописать его на сетевом оборудовании, настроить интеграцию radius сервера с LDAP каталогом на windows server. В итоге ты логинишься на сетевое оборудование по доменной/AD учетной записи.

Различия Radius/Tacacs

Подробно в статьях Cisco (en/ru): 1 2 и ниже в статьях про RADIUS и TACACS. Читать дальше

SQL и базы данных: основы (индексы, ключи, нормализация), примеры SQL запросов, работа с таблицами CREATE, DROP, EDIT; использование SELECT (join, distinct, enlosed, like, sum, etc); балансировка/масштабирование (шардирование, репликация), TMDB (time series database)

http://sqlfiddle.com/ – очень удобный сайт по экспериментам с SQL (запросы, создание страниц и проч.)
https://dbfiddle.uk/Gx3c6fmQ – аналогично, с примером

основные инструменты SQL/NoSQL; big data; analytics

- хранение
  - mysql/oracle/postres (более в почете сейчас последний, в том числе для bigdata в виде greenplum и TSDB в виде TimescaleDB)
  - OpenTSDB (Time Series Database)
  - redis
  - s3
  - elk – часто используется для логов
  - clickhouse
  - log stash
- визуализация
  - Kibana
- поиск по данным
  - ElasticSearch

Отдельные статьи

Time series database

В основном на основе статьи из habr

A time series database (TSDB) is a software system that is optimized for storing and serving time series through associated pairs of time(s) and value(s).

Linux: работа с утилитой grep (egrep, zgrep, rgrep, etc)

У особо душных зачастую вызывает недоумение – зачем открывать через cat файл, который потом передается в grep. Отвечаю – часто ты открываешь сначала файл чтобы посмотреть в целом что там есть, а уже после первого просмотра передаешь в grep. У многих такой паттерн вошел в привычку – вот пример обучения по Linux LPIC-1 🙂 препод максимально опытный админстратор Linux (с начала 90х)

У grep 1001 alias, вот список из man. Читать дальше

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное

(Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.

Coding: Ruby

RUBY: установка

Методы установки Ruby
- mise – самая современная альтернатива, причем поддерживает множество языков (как asdf, но еще лучше по ряду аспектов)
- RBENV – стандарт для новых проектов Ruby
- RVM (https://get.rvm.io) – в основном рекомендуется для Legacy проектов Ruby

через rbenv

apt update
apt install -y git curl build-essential libssl-dev \
libreadline-dev zlib1g-dev libyaml-dev libffi-dev

git clone https://github.com/rbenv/rbenv.git

Основы VCS на примере Git, patch/diff

https://git-scm.com/ – тут крутые entry видео, документация и прочее
с помощью ChatGPT Deep Research можно изучить любой GitHub проект

(GitHub, coding best practices) Google держит миллиарды строк кода в одном репозитории

Google хранит весь код в монорепозитории Piper: около 2 млрд строк и 86 ТБ истории.