Linux: работа с текстом (fmt, sed, awk, tr, cut, cat/tac, tee, column, uniq, sort, paste)

GREP в отдельной статье

fmt
  • примеры есть в cheat.sh
  • вариаций форматирования много

Форматирование данных на входе – к примеру по умолчанию fmt осуществит форматирование, которое приведет к лучшему чтению:

    • объединение слов в одну строку если слов мало в каждой строке
    • или наоборот, вместо одной длиной строки сделает несколько коротких
root@serv:~# cat >sw
Hello
world
and
not
world
root@serv:~# fmt sw
Hello world and not world

root@spr:~# cat >sw
Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world
root@spr:~# fmt sw
Hello world and not world Hello world and not 
world Hello world and not world Hello world 
and not world Hello world and not world 
Hello world and not world
paste

paste with delimiter (paste с отличным от default delimiter):

paste -d ';' load.csv
<br><br> Читать дальше

Network/Linux: Shaping, Policing, Impairment, Traffic Control. Ограничение полосы пропускания (Linux: tc, wondershaper; Network: Cisco, Mellanox), внесение задержек и потерь в сетевой трафик

Влияние потери и задержек на Throughput подробно описано в отдельной статье.

Пример кейсов использования impairment:

    • эмуляция гео-распределенной сети
    • эмуляция wireless/satellite/mobile
    • приближение к real world
    • тестирование edge case сценариев

При этом в сетевом тестировании с impairment нужно обращаться “аккуратно”.

EANTC Carsten Rossenhoevel
The benchmarking methodology could be complemented with synthetic loss/delay, but this is out of scope of this draft ((netsecopen)). 
<br><br> Читать дальше

Security: Endpoint Detection & Protection (EPP, EDR/ETDR, AMP, MDM, HBF)

Overview
  • От простого snort/suricata на хосте есть толк даже при наличии snort/suricata с таким же набором правил на уровне сети – на уровне хоста весь трафик расшифрован и работа идет с нормализованным payload.
  • HBF (host-based firewall) встроен во все OS сегодня и даже используется облачными операторами типа yandex cloud

  • (enterprise, epp) Hostbase firewall проект в яндекс (hbf): централизованное управление ACL серверов яндекс, поддерживают разные dataplane и можно добавить и другие: linux iptables, freebsd ipfw, bpf.

<br><br> Читать дальше

Devops notes

 

  • Эта статья под распил к конкретные, тут заметки именно

  • (enterprise, devops) У yandex (да и у google тоже) есть и востребованы “эникейщики aka админы aka devops aka sre” : чел из nocdev (Литвиненко Борис) yandex отвечает за hbf, racktables, mirror и другие проекты – нужны навыки как в сетях, так и в sql/DBA и linux с программированием (раньше писали меньше, сейчас за счет нейросетей больше).

<br><br> Читать дальше

Linux: ядро (kernel), процессы /proc в ОС и работа с ними (proc, ps, lsof, nice, kill, killall, top, lscpu, interrupts, smp irq affinity, isolcpus, taskset, cpuset/cset shield), утилизация процессора (user/system/idle/iowait/softirq)

  • kernel parameters /proc/cmdline (можно редактировать конфигом GRUB)
  • kernel parameters modification /etc/sysctl.conf
  • В Linux все рассматривается как файлы, включая устройства (/dev) и процессы (/proc)
  • Любые изменения в /proc директории немедленно применяются kernel
All changes to files in /proc/ are immediately recognized by the kernel.
<br><br> Читать дальше

Linux: bash спец. символы, man, переменные (> >> $ & # ~/$HOME $USER \ | /n \t ^M $? * ; ()), redirect stdout/stderr, ALIAS, bashrc, profile; программирование в bash (полезные скрипты, получение опций в скриптах, функции, условия, циклы, case, массивы)

~ echo $SHELL
/bin/bash

bash-3.2$ echo $SHELL   # MACOS
/bin/zsh

  • (ssh, bash) Пересылка сообщений между терминалами

# echo to special terminal
echo "Hello Terminal 3" > /dev/pts/3

# echo to all terminal linux (3 vars)
echo "Your message here" | wall
wall message.txt
<br><br> Читать дальше

Linux: ssh (конфигурация, 2FA, туннели, примеры подключения, автологин, удаление сессий, radius, скрипты, туннелирование, проксирование)

  • SSH3 (seclab) – протокол по функционалу близкий к ssh поверх QUIC (есть реализаци клиента и сервера), название скорее неудачное, но в целом проект интересный – напр. маскировка под HTTPS, скорость за счет ускорения handshake, проброс не только TCP, но и UDP портов; встроенный в quic “mobile IP”, «вести себя как web сервер пока не получим нужный id», нативная поддержка oauth, поддержка сертификатов x.509.
<br><br> Читать дальше

Security: AAA (RADIUS, TACACS), Cisco ISE, Cisco DUO, Cisco TrustSec, Posture Assesment, Cisco Auth Failures

  • нормальная задача администратора – поднять radius сервер, прописать его на сетевом оборудовании, настроить интеграцию radius сервера с LDAP каталогом на windows server. В итоге ты логинишься на сетевое оборудование по доменной/AD учетной записи.
Различия Radius/Tacacs

Подробно в статьях Cisco (en/ru): 1 2 и ниже в статьях про RADIUS и TACACS.<br><br> Читать дальше

iOS заметки

  • iOS не идеален, несмотря на достаточно хорошее качество ОС,
    • Была проблема с сетевой связностью у одного приложения (доступом к определенному порту), переустановка приложения не помогла, но помогла перезагрузка iPhone
    • Была проблема с работой с отдельным конкретным сайтом (этим блогом), решилась через обновление iOS на проблемном устройстве, при этом
      • Проблема была в разных браузерах (chrome, safari), в том числе в private mode
      • Перезагрузки приложений и телефона, сброс кешей, истории, данных и даже сетевых настроек не помогли никак
  • iPhone c QuickCharge (начиная с iPhone 8) можно заряжать зарядкой от MacBook.
<br><br> Читать дальше

Несколько полезных JavaScript

  • (linkmeup CDN) В среднем чем больше js кода мы исполняем в браузере, тем больше вероятность что в исполняемом коде может оказаться что-то плохое: bruteforce, dos, bot, etc т.к. несмотря на наличие методов защиты в браузерах они зачастую обходятся.

confirm при нажатии на кнопку

Например кнопку “удалить” в файловой шаре.<br><br> Читать дальше