Coding: Python

  • Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
  • Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.


Читать дальше

Network: BGP общее, реализации (QUAGGA, BIRD, FRRouting); iWAN/PfR in Global Routing ; IP BGP anycast + ECMP + BGP community балансировка

  • Summary видео
    • OMG 🙂 Белый дом решил заняться BGP Biden-⁠Harris Administration Releases Roadmap to Enhance Internet Routing Security
    • BGP изначально построен по принципу доверия инженеру, настраивающему его
    • Множество аварий связанных с BGP, включая утечки маршрутов / bgp hijacking
      •  
      • в 2008 падал youtube 
      • в 2018 amazon S3 dns трафик перенаправлен ; воровство денег из криптокошельков
      • в 2021 падал facebook/insta
      • в 2026 падал телеграм, причем bgp hijacking осуществлялся по сути по предписанию органов Индии
Блокировка Telegram в Индии, удаление Telegram из индийских магазинов и сбой по всему миру
Власти Индии предписали временно заблокировать Telegram из-за массовой утечки экзаменационных билетов (NEET-UG).


Читать дальше

Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Нужно уметь применять статистику (с этим часто проблема) и
    • если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
    • если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

        • count 94248.000000 – количество элементов (размер выборки)
        • mean 1.691554 – среднее
        • std 0.979690 – стандартное отклонение (величина высокая)
        • min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
        • 25% 0.396944 – 25% выборки выше этого значения
        • 50% 2.301407 – медиана (median)
        • 75% 2.348383 – 75% выборки ниже этого значения
        • max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

        • 1%
          • https://www.rfc-editor.org/rfc/rfc9693.html


Читать дальше

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей



Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

NIC, Linux: работа с NIC, с сетевыми интерфейсами

BASIC
  • COMPARING NET-TOOLS VS. IPROUTE PACKAGE COMMANDS
  • Очереди сетевой карты (NIC queues), также известные как кольцевые буферы (ring buffers), используют оперативную память (RAM) компьютера, а не внутреннюю память самой карты. Очереди приема (Rx) и передачи (Tx) представляют собой области в системной RAM, которые выделяются драйвером сетевой карты при инициализации.


Читать дальше

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное
  • (Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

    https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

    We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.


Читать дальше

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

  • (Rfc 9411, virtualization) Советы бывалых при тестировании на производительность сетевых решений в виртуализации
    1. использовать numa/cpu core pinning
    2. использовать DirectPath I/O (PCI passthrough или SR-IOV) – подробнее о них смотри ниже
    3. отключить миграцию vmotion/live migration
    4. Не забудьте: иногда проще и честнее взять физический DUT, чем бороться с виртуальными ресурсами виртуалки.


Читать дальше

Основы Big data

Palantir Technologies делает не «еще один искусственный интеллект» и не обычную базу данных. Компания продает платформы, которые соединяют разрозненные сведения, строят связи между людьми, объектами, событиями и процессами, а затем дают аналитикам интерфейс для решений.


Читать дальше

Excel: разные хинты



Читать дальше

Youtube downloader, выгрузка видео с youtube и других сайтов

  • Хвалят командную утилиту yt-dlp
  • https://mm.anwap.today фильмы на телефон
  • https://9xbuddy.com – выгрузка с любого сайта!
  • https://en.get-save.com/1-1/ – выгрузка с любого сайта!
  • https://bravedown.com/vk-video-downloader – работающая выгрузка из вк (в разном качестве), но потенциально и других сайтов
  • y2down.cc – top поддерживает несколько выгрузок одновременно, в любом качестве, для ipad mini достаточно 720p
  • https://github.com/yt-dlp/yt-dlp


Читать дальше