NIC, Linux: работа с NIC, с сетевыми интерфейсами

BASIC
  • COMPARING NET-TOOLS VS. IPROUTE PACKAGE COMMANDS
  • Очереди сетевой карты (NIC queues), также известные как кольцевые буферы (ring buffers), используют оперативную память (RAM) компьютера, а не внутреннюю память самой карты. Очереди приема (Rx) и передачи (Tx) представляют собой области в системной RAM, которые выделяются драйвером сетевой карты при инициализации.


Читать дальше

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей



Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

Network: работа с pcap – сбор и анализ (Wireshark/tshark, tcpdump, packetdump, capinfos), редактирование (hex editor, tcprewrite, bittwiste, editcap, mergecap, wireedit), воспроизведение (tcpreplay, bittwist), анонимизация, комплексные продукты (moloch, observer)

СБОР и АНАЛИЗ

Разное
  • (Wireshark, ИИ) ИИ может использоваться для генерации pcap на основе описания трафика корректных с точки зрения протокола (TrafficT5)

    https://www.sciencedirect.com/science/article/abs/pii/S1389128625008242 

    We introduce TrafficT5, a three-stage, self-correcting framework that turns natural-language intents into executable PCAPs. It (i) predicts flow-level features, (ii) generates byte-aligned hex under a fixed 00–FF vocabulary, and (iii) invokes a repair module that deterministically enforces protocol invariants and performs detector-guided, iterative byte-level correction trained with multi-task objectives.


Читать дальше

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

  • (Rfc 9411, virtualization) Советы бывалых при тестировании на производительность сетевых решений в виртуализации
    1. использовать numa/cpu core pinning
    2. использовать DirectPath I/O (PCI passthrough или SR-IOV) – подробнее о них смотри ниже
    3. отключить миграцию vmotion/live migration
    4. Не забудьте: иногда проще и честнее взять физический DUT, чем бороться с виртуальными ресурсами виртуалки.


Читать дальше

Основы Big data

Palantir Technologies делает не «еще один искусственный интеллект» и не обычную базу данных. Компания продает платформы, которые соединяют разрозненные сведения, строят связи между людьми, объектами, событиями и процессами, а затем дают аналитикам интерфейс для решений.


Читать дальше

Coding: Python

  • Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
  • Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.


Читать дальше

Excel: разные хинты



Читать дальше

Youtube downloader, выгрузка видео с youtube и других сайтов

  • Хвалят командную утилиту yt-dlp
  • https://mm.anwap.today фильмы на телефон
  • https://9xbuddy.com – выгрузка с любого сайта!
  • https://en.get-save.com/1-1/ – выгрузка с любого сайта!
  • https://bravedown.com/vk-video-downloader – работающая выгрузка из вк (в разном качестве), но потенциально и других сайтов
  • y2down.cc – top поддерживает несколько выгрузок одновременно, в любом качестве, для ipad mini достаточно 720p
  • https://github.com/yt-dlp/yt-dlp


Читать дальше

Основы тестирования (Quality Assurance)

Tests can make good code great!
  • Бажат все, даже такие ведущие вендоры как Cisco (особенно Firepower :D). Важно насколько сырой продукт в текущем состоянии и как быстро исправляют проблемы.
из чатика:
на 65 залипает или вообще не работает вплс, на а1к перестают анонситься маршруты, нцс просто тупо сырые.


Читать дальше

Видеонаблюдение/видеоконференции/аудио/медиа/конвертация: IP/WEB камеры, видео-контроллеры, RTSP viewer, запись видео с экрана, BigBlueButton, dante, smpte 2110, teamspeak

  • https://github.com/jitsi/jitsi-meet – бесплатный ВКС (видео/аудио конференции). Может быть интегрировать в rocket.chat.
  • https://apps.google.com/meet/ – бесплатный ВКС от google
  • Частый вопрос – организация доступа к камерам без внешнего IP у роутера, за которым находятся камеры, решения в порядке моего приоритета:
    • VPN на шлюз с внешним сервером IP и маршрутизация внутри VPN – безопасно и достаточно просто при наличии внешнего VPN сервера
    • Облачный или не совсем контроллер (DVR) – cloud access ivideon, unify или другой, зачастую за $
    • DYNDNS (при необходимости с пробросом портов для нескольких камер)
    • Все таки покупка внешнего IP.


Читать дальше