Weril – Weril

Coding: Python

Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное

(Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.

Network: Packet Broker, Balancer (пакетные брокеры и L3-L7 балансировщики: nginx, haproxy, f5, radware, citrix, nfware, etc)

(Ngfw с выдержками, proxy/balancer только header) Выдержка из статьи цифровых решений (dsol) о плюсах intel qat на базе cpu (тк у них нет продукта балансера с реализованным decrypt они это пиарят)
Пакетные брокеры с функционалом балансировки. Часто встречаемое решение в последнее время, особенно в фин.

Hardware: ASIC, FPGA (ПЛИС), SoC

Fpga = плис = Программи́руемая логи́ческая интегра́льная схе́ма (на печатной плате)
Использование GPU для ускорения обработки сетевых пакетов в ядре Linux
Есть Китайские ПЛИС, есть даже Воронежские (для специальных задач)
”CPU и FPGA – микросхемы общего применения, туда спецзакладку для сети запихивать накладно, а вот в специализированный сетевой чип, который примерно весь Blackbox со своими закрытыми процами внутри – святое дело)” (c)
Язык Verilog/VHDL.

Linux: обновление приложений, ОС и драйверов в UBUNTU/Debian, установка системы

Аналог статьи про CentOS
Debian 10 в web VM: https://webvm.io/
(ubuntu/debian, OS loading) В ubuntu есть lifepatching, который позволяет обновить ядро и systemd без перезагрузки как системы, так и сервисов!
(Centos, Ubuntu) PackageKit — открытый и свободный набор приложений для обеспечения высокоуровнего интерфейса для различных пакетных менеджеров.

Network: транспортные протоколы (TCP, UDP, SCTP), разное (QUIC, slow start, mss, port, checksum, window size, algorithms, port ranges, acknowledgements: piggybacking, duplicated, delayed, nagle, PAWS, TCP reordering, PMTUD); ss, telnet, nc

TCP & UDP notes

Сегментация в общем случае желательней фрагментации
TCP MSS по умолчанию = 536 байт в том числе в актуальном RFC 9293

         The default IP Maximum Datagram Size is 576.
         The default TCP Maximum Segment Size is 536.

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей

Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS. Речь идет о сотнях тысяч графических процессоров Nvidia Corp.

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
- Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.

Статистика и математика в IT

Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
Нужно уметь применять статистику (с этим часто проблема) и
- если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
- если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

- - - count 94248.000000 – количество элементов (размер выборки)
    - mean 1.691554 – среднее
    - std 0.979690 – стандартное отклонение (величина высокая)
    - min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
    - 25% 0.396944 – 25% выборки выше этого значения
    - 50% 2.301407 – медиана (median)
    - 75% 2.348383 – 75% выборки ниже этого значения
    - max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

- - - 1%
      - https://www.rfc-editor.org/rfc/rfc9693.html

Coding: архитектура, программирование и разработка, devops, ITIL/IT management

(c) В каждом айтишнике живет два волка:

1. Чистый код, SOLID, взвешенные архитектурные решения
2. Работает – не трогай, а то хер его знает где отвалится в этом легаси обосранном

о code review / код ревью

(Мониторинг, devops) Как tivoli менеджер проникся puppet и практиками devops для эксплуатации

Развитие технология, изменение стеков, изменение подходов

Era: mainframe – client/server – cloud
Language: cobol – c – java
Cycle time: Years – months – weeks
Costs: Billion – million – 100k
Risks: company – product – feature

Разные цели эксплуатации и разработки (operations & development)

Программирование Best Practices

Почему все не стоит писать на С: Потому что в абсолютном большинстве веб приложений бутылочным горлышком является база данных, а не код приложения.