Weril – Page 2

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

Отдельная статья про оперативную память
Отдельная статья про диски (эта)
Отдельная статья про права
(Disk, enterprise) Mirror.yandex.ru: Storage
- В текущий момент на трех серверах zfs, на трех серверах использует ext4 (не смог переехать на них на zfs из-за зависимости от старого пропатченного командой storage яндексом драйвера hba как контроллера sas и версии ядра linux для дисковой полки этих серверов; в итоге ядро и драйвер не поменять, а на старом ядре только древняя версия zfs), плюс что если будут проблемы уровня ФС они будут не везде 🙂
- Планомерно мигрирует storage (все новые репы заводит там) с локального хранения на S3 yandex, но отказываться полностью от локального хранения не планирует (защита от кейса аварии в S3 яндекса и нужны будут недоступные дистрибутивы с зеркала).

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель	Модель	Скорость	Ключевые особенности	Применение
NVIDIA	BlueField-3 DPU	400 Gbps	16x ARM Cortex-A78, аппаратный eBPF	Cloud security, Zero-Trust
Intel	IPU E2000	200 Gbps	Интеграция с Open vSwitch, поддержка QAT	Виртуализация, SDN
AMD/Xilinx	Alveo SN1000	100 Gbps	FPGA + ARM-ядра, анализ TLS/SSL	Финансовый мониторинг
Marvell	OCTEON 10 DPU	100 Gbps	8x ARM Neoverse N2, аппаратный DPI	Телеком (5G UPF)

Программные методы					Аппаратные методы
	AF_PACKET	PF_RING / PF_RING ZC	DPDK (PMD)	DPDK (AF_XDP)	FPGA	SmartNIC
Скорость	До 10 Gbps	10 Gbps 40-100 Gbps	До 200+ Gbps	До 100 Gbps	Многократные 100G порты (400G, 800G)	До 200 Gbps на порт
Задержка (Latency)	Высокая	Средняя Низкая	Очень низкая	Низкая	Экстремально низкая детерминированная	Очень низкая детерминированная
Сложность реализации	Низкая (стандартный API)	Средняя (свои драйверы и библиотеки)	Высокая (выделенные ядра, управление памятью)	Высокая (работа с еВРЕ)	Очень высокая (HDL/Verilog/V HDL, RTL-дизайна)	Высокая (ASIC, C/OpenCL)
Стоимость	Бесплатно (входит в состав ОС)	Бесплатно / Платная	Бесплатно, но мощные CPU совместимые NIC	Бесплатно	Очень высокая	Высокая
Ключевые особенности	Простота использ-ниЯ, стандартность	Улучшенная производите-ть.

Network, Security: DoS/DDoS

Самые мощные атаки РФ (по миру актуальная атака на клиента CF 8 tbps в конце статьи): 150 гбит / 1.5 терабит ; 15 MPPS / 150 MPPS ; сутки / трое в 2023 / 2024 соответственно

Неплохой базовый мануал (часть инфы ниже оттуда) что такое DoS от CISA / FBI и крупных компаних в IT (Akamai, Cloudflare, Google) с меткой TLP:clear на безграничное распространение: Understanding and Responding to Distributed Denial-of-Service Attacks_508c

The Cybersecurity and Infrastructure Security Agency (CISA), the Federal Bureau of Investigation (FBI), and the Multi-State Information Sharing and Analysis Center (MS-ISAC) are releasing this joint distributed denial-of-service (DDoS) attack guidance

Очень хороший мануал от Juniper с описанием атак и методов защиты от них в JunOS
БИФИТ Mitigator – Российское решение на базе стандартных серверов
Статья по тюнингу параметров ядра Linux для большей устойчивости в DoS/DDoS сценариях (настройки серверные)
(ИИ, DDoS) ИИ активно используются как для отражения от атак, так и для проведения атак, к примеру из рассылки CheckPoint – умные/адаптивные DDoS атаки под управлением ИИ
```
The cyber security landscape is undergoing a profound shift as attackers increasingly leverage artificial intelligence to launch DDoS attacks that are more autonomous, adaptive and resourceful than ever before.
```

Тестирование приложений: заметки по JMeter, gatling

Заметки

(JMeter, Locust) Кто-то мигрирует с JMeter на Locust (на базе python)
Курс по JMeter
Список “литературы”.

JMeter легко масштабируется с использованием remote_hosts (distributed mode) в одной подсети (см. подробнее ниже).
На практике можно запустить очень много JMeter нагрузчиков – знаю о инсталяциях с 10 ТЫС.

JAVA заметки

https://stepik.org/course/187 Java базовый курс
1995 год Язык программирования Java — первый язык программирования с кроссплатформенной поддержкой — был создан компанией Sun Microsystems (в последующем приобретенной компанией Oracle). Ведущим разработчиком в команде был Джеймс Гослинг — он известен как «отец Java».

Производительность

Тюнинг производительности JAVA от Oracle

Для тех кто нелюбит Java и говорит что она медленная. Читать дальше

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

(Security, Virtualization) Все что надо знать о безопасности гипервизоров:

Гипервизор Xen разрешил гостевым системам взламывать хосты

Разработчики гипервизора Xen выкатили пачку экстренных обновлений, закрывающих сразу двадцать уязвимостей. И если восемь из них просто приводят к отказу в обслуживании или утечке памяти, то оставшиеся двенадцать полностью умножают на ноль саму концепцию виртуализации.

Hardware: ASIC, FPGA (ПЛИС), SoC

Fpga = плис = Программи́руемая логи́ческая интегра́льная схе́ма (на печатной плате)
Использование GPU для ускорения обработки сетевых пакетов в ядре Linux
(Verilog/VHDL, ds proxima) Сергей Платко (цифровые решения) в linkmeup подкасте о L7 балансировке про решения ПЛИС/FPGA/ASIC :
- - считает что VHDL/Verilog плохо сравнивать с классическими языками программирования, он называет их языками описания аппаратуры и программистов, которые рассказывали ему на собеседованиях о программировании на verilog и при этом описывали паттерны программирования на C – он таких не брал т.к.

Linux: работа с текстом (fmt, sed, awk, tr, cut, cat/tac, tee, column, uniq, sort, paste)

GREP в отдельной статье

fmt

примеры есть в cheat.sh
вариаций форматирования много

Форматирование данных на входе – к примеру по умолчанию fmt осуществит форматирование, которое приведет к лучшему чтению:

- объединение слов в одну строку если слов мало в каждой строке
- или наоборот, вместо одной длиной строки сделает несколько коротких

root@serv:~# cat >sw
Hello
world
and
not
world
root@serv:~# fmt sw
Hello world and not world

root@spr:~# cat >sw
Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world
root@spr:~# fmt sw
Hello world and not world Hello world and not 
world Hello world and not world Hello world 
and not world Hello world and not world 
Hello world and not world

paste

paste with delimiter (paste с отличным от default delimiter):

paste -d ';' load.csv

Network/Linux: Shaping, Policing, Impairment, Traffic Control. Ограничение полосы пропускания (Linux: tc, wondershaper; Network: Cisco, Mellanox), внесение задержек и потерь в сетевой трафик

Влияние потери и задержек на Throughput подробно описано в отдельной статье.

Пример кейсов использования impairment:

- эмуляция гео-распределенной сети
- эмуляция wireless/satellite/mobile
- приближение к real world
- тестирование edge case сценариев

При этом в сетевом тестировании с impairment нужно обращаться “аккуратно”.

EANTC Carsten Rossenhoevel
The benchmarking methodology could be complemented with synthetic loss/delay, but this is out of scope of this draft ((netsecopen)).

Security: Endpoint Detection & Protection (EPP, EDR/ETDR, AMP, MDM, HBF)

Overview

От простого snort/suricata на хосте есть толк даже при наличии snort/suricata с таким же набором правил на уровне сети – на уровне хоста весь трафик расшифрован и работа идет с нормализованным payload.
HBF (host-based firewall) встроен во все OS сегодня и даже используется облачными операторами типа yandex cloud
(enterprise, epp) Hostbase firewall проект в яндекс (hbf): централизованное управление ACL серверов яндекс, поддерживают разные dataplane и можно добавить и другие: linux iptables, freebsd ipfw, bpf.