Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

  • В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
  • CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
    • Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.



Читать дальше

Ответы на quiz selectel perfconf

Quiz прошел, ответы с разумными объяснениями ИИ (при наличии)

Что чаще всего становится узким местом при нагрузочном тестировании веб-приложения?

1) cpu

2) диск

3) сеть

4) зависит от архитектуры

—-

зависит от архитектуры
Cpu ответил grok, но по факту в статьях упоминаются и диск (БД) и сеть и правильный ответ: зависит от архитектуры

Какой показатель latency (задержки) в сети считается критически важным для высоконагруженных систем?

Читать дальше

Linux: packet flow, обработка в ядре пакетов, фильтрация, connection tracking, statistics: iptables, ipset, ipfw, nftables, bpfilter, firewalld, conntrack, BPF, packetfilter, netstat, iptraf, jool, tc

  • Про фильтрацию/NAT на базе TC (TC NAT, TC BLOCK) в отдельной статье
Фильтрация на базе DPDK
 О ОБРАБОТКЕ ПАКЕТА В  ЯДРЕ LINUX


Читать дальше

Curl/wget разное

https://httpie.org/ – а еще есть такая “модная” альтернатива curl/wget

 

CURL

(curl/wget, xargs) многопроцессный curl

seq 1 10000 | xargs -n 1 -P 10 ./curl.sh &>test_log.10k.10p.log

cat curl.sh
>&2 echo "Transaction ID $1 started"
curl "https://srv.test:443/1024b.txt" -v -o 1024b.$1.txt
md5=$(md5sum 1024b.$1.txt)


Читать дальше

Linux: обновление приложений, ОС и драйверов в UBUNTU/Debian, установка системы

  • Аналог статьи про CentOS
  • Debian 10 в web VM: https://webvm.io/
  • (ubuntu/debian, OS loading) В ubuntu есть lifepatching, который позволяет обновить ядро и systemd без перезагрузки как системы, так и сервисов!
  • (Centos, Ubuntu) PackageKit — открытый и свободный набор приложений для обеспечения высокоуровнего интерфейса для различных пакетных менеджеров.


Читать дальше

SecureCRT, Termius, MPutty, (supper)Putty, SolarPutty, mRemoteNG, iTerm, Mobaxterm, Windows Terminal

Альтернативы SecureCRT:

  • Termius – кросс-платформенная альтернатива
  • Windows: Windows Terminal, mRemoteNG, MPutty, SupperPutty, SolarPutty, Mobaxterm (препод Linux особенно хвалил)
  • MacOS: iTerm2 – шикарная альтернатива на Mac

 

 

PUTTY

Король, использую его + закладки сессий самой Windows. Получается довольно удобно. 🙂

По PPK можно легко получить public key – это делает WinSCP с кнопки.

Читать дальше

NIC, Linux: работа NIC, работа с сетевыми интерфейсами (ifconfig, ip, ethtool, interfaces – lspci network, lshw network, RSS), smart NIC, pci nic


BASIC
  • COMPARING NET-TOOLS VS. IPROUTE PACKAGE COMMANDS
  • veth – virtual eth
  • nic в VM имеют имена типа ens32 как попытка избежать конфликта с физическими адаптерами
  • В новом linux kernel 6.7. Добавлен новый тип виртуальных сетевых устройств “netkit”, логика передачи данных в которых задаётся при помощи BPF-программы.


Читать дальше

Devops notes

 

  • Эта статья под распил к конкретные, тут заметки именно
  • Многие инструменты и практики devops на собеседованиях/в требованиях сейчас спрашивают и у сетевых инженеров и у performance инженеров и у программистов; по сути это универсальные знания, которыми часто нужно обладать
  • Кто то SRE выносит отдельно от devops, кто то его считает подвидом devops
  • По практике работы SRE с мониторингом в отдельной статье
  • Многое более детально описано в отдельных статьях – docker, k8s, terraform, best practice (microservice)
  • Часть взято из практики
  • Часть из феникс-проекта
  • Часть с сайта https://easyoffer.ru/rating/devops


Читать дальше

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

  • вот пример как nginx гонять поверх стека на VPP https://wiki.fd.io/view/VPP/HostStack/LDP/nginx

с точки зрения техники там производится ldpreload модуля, который подменяет необходимые сисколлы на свое ((аналогично встраивается и openonload))
  • Сравнение Netmap DNA и PFRING. Довольно подробное есть тут.
Even if DNA and netmap have been developed in totally independent ways, they solve the same problem: how to move packets back/forth a network adapter without using too many CPU cycles.


Читать дальше

Network: Packet Broker, Balancer (пакетные брокеры и L3-L7 балансировщики: nginx, haproxy, f5, nfware, etc)

  • (Ngfw с выдержками, proxy/balancer только header) Выдержка из статьи цифровых решений (dsol) о плюсах intel qat на базе cpu (тк у них нет продукта балансера с реализованным decrypt они это пиарят)
  • Пакетные брокеры с функционалом балансировки. Часто встречаемое решение в последнее время, особенно в фин.


Читать дальше