Category: Uncategorized

Linux: DPDK, HYPERSCAN, SNABB; NETMAP DNA, PFRING, XDP; hugepages

  • Хорошие таблицы, взяты отсюда https://habr.com/ru/companies/garda/articles/985596/

Производитель Модель Скорость Ключевые особенности Применение
NVIDIA BlueField-3

 

DPU

 400 Gbps 16x ARM Cortex-A78,

 

аппаратный eBPF

 Cloud security, Zero-Trust
Intel IPU E2000 200 Gbps Интеграция с Open vSwitch, поддержка QAT Виртуализация,

 

SDN
AMD/Xilinx Alveo SN1000 100 Gbps FPGA + ARM-ядра,

 

анализ TLS/SSL

 Финансовый мониторинг
Marvell OCTEON 10

 

DPU

 100 Gbps 8x ARM Neoverse N2,

 

аппаратный DPI

 Телеком (5G UPF)

Программные методы Аппаратные методы
  AF_PACKET PF_RING /

 

PF_RING ZC

 DPDK (PMD) DPDK (AF_XDP) FPGA SmartNIC
Скорость До 10 Gbps 10 Gbps

 

40-100 Gbps

 До 200+ Gbps До 100 Gbps Многократные 100G порты (400G, 800G) До 200 Gbps

 

на порт
Задержка

 

(Latency)

 Высокая Средняя

 

Низкая

 Очень низкая Низкая Экстремально низкая детерминированная Очень низкая детерминированная
Сложность реализации Низкая (стандартный

 

API)

 Средняя (свои драйверы и библиотеки) Высокая (выделенные ядра, управление памятью) Высокая

 

(работа с еВРЕ)

 Очень

 

высокая (HDL/Verilog/V

HDL, RTL-дизайна)

 Высокая (ASIC,

 

C/OpenCL)
Стоимость Бесплатно (входит в состав ОС) Бесплатно /

 

Платная

 Бесплатно, но мощные CPU

 

совместимые NIC

 Бесплатно Очень высокая Высокая
Ключевые особенности Простота использ-ниЯ, стандартность Улучшенная производите-ть.


Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей


Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

Технологии спектрального уплотнения WDM (DWDM, CWDM)

 

Магистральные сети связи

Издание ComNews Research выпустило новую версию карты “Магистральные сети связи в России” с данными на октябрь 2024г.  Аналитику данных и сведений по карте издание приводит в своей статье:
– https://www.comnews.ru/content/236040/2024-11-29/2024-w48/1180/magistralnye-seti-svyazi-rossii-2024#map-section

Согласно результатов опроса:

– рынок магистрального доступа насчитывает более 20 игроков,

– протяженность магистральных ВОЛС которых на территории страны составила в октябре 2024 года 1476 тыс.

Читать дальше

Wireless (Wi-Fi, WiFi, Satellite), WiMax, мощность радио сигнала (дБ, RSSI)

we identified a noticeable spike in packet loss and a sustained increase in round-trip time (RTT) on the Starlink network during that superstorm
  • Мощная статья о создании Wi-Fi на Alfa Future People (AFP), из полезного
    • в поле найти электричество сложно, организуют его дизель-генераторами (500 кВт * 2 на свет, 500 кВт * 2 на звук и еще разные на разную мощность типо 100 кВт для павильонов, холодильников, настройки оборудования и проч)
    • колхозная анти-вибрация (виброразвязка) за счет обычных кухонных губок для мытья посуды
    • наличии раций – удобно и хорошо, при отказе сотовой связи, стало после первого феста обязательным требованием
    • точки
      • могут закупаться indoor точки топовые, несмотря на сценарий применения outdoor – их помещают в пластиковые боксы, которые позволяли им переносить и жару (CPU точек имел хороший температурный запас) и дождь и туман
      • в общем случае правильно на таких мероприятиях делать секторные антенны, а не omnidirectional
      • количество точек на подобные мероприятия нужно ставить не 70, а в три раза больше (на 15 тыс.


Читать дальше

Network: BGP общее, реализации (QUAGGA, BIRD, FRRouting); iWAN/PfR in Global Routing ; IP BGP anycast + ECMP + BGP community балансировка

  • Summary видео
    • OMG 🙂 Белый дом решил заняться BGP Biden-⁠Harris Administration Releases Roadmap to Enhance Internet Routing Security
    • BGP изначально построен по принципу доверия инженеру, настраивающему его
    • Множество аварий связанных с BGP, включая утечки маршрутов
      •  
      • в 2008 падал youtube 
      • в 2018 amazon S3 dns трафик перенаправлен ; вопровство денег из криптокошельков
      • в 2021 падал facebook/insta
    • ответом в том числе по мнению белого дома является использование RPKI для валидации коррекности принимаемой информации; при этом он плохо применяется в USA (30%) в сравнении с Европой (70%)

  • CheatSheet
  • Полезные ссылки – построение графов, список соседей по пирингу, префиксы и проч
    • bgp.he.net


Читать дальше

Носители HDD/SSD

  • Часть инфы из вебинара HonorCup E=DC2 для сдачи HCNA Storage
hdd

Это обычная вещь для Seagate: частота ошибок чтения сообщает любое значение, кроме нуля – это сбивает с толку и вы можете задаться вопросом, не сломался ли диск. https://s.i.wtf – Этот калькулятор поможет вам понять, как правильно интерпретировать эти числа.

Читать дальше

EVE-NG / PNETLab


PNETLab
  • PNETLab является неофициальной копией, или “форком”, на основе EVE Community
  • (PT NGFW, EVE-NG) Пример использования в кейсе PT

eve ng
  • https://wiki.eve-ng.ru/wiki/Образы_для_EVE

EVE-NG – Emulated Virtual Environment Next Generation – среда,  позволяющая создать полноценную виртуальную лабораторию с сетевым оборудованием и программным обеспечением ведущих мировых производителей.

Читать дальше

Excel: разные хинты

  • Восстановление файлов из временных / saved / temp , директории:
C:\Users\redkin.petr\AppData\Local\Microsoft\Office\UnsavedFiles
C:\Users\redkin.petr\AppData\Roaming\Microsoft\Excel\
C:\Users\redkin.petr\Documents
=СЕГОДНЯ() Текущая дата (значения могут быть разными)
=ТДАТА() Текущие дата и время (значения могут быть разными)
  • Если хочется использовать округленное число в формуле excel, то нужно его в исходной ячейке округлить через функцию =ОКРУГЛ, а не менять форму представления ячейки.


Читать дальше

Linux: логи (/var/log, dmesg, last, lastlog, lastb, history, syslog/journald)

  • https://losst.ru/kak-posmotret-logi-v-linux  – хорошая статья с указанием стандартных путей лог файлов

  • (journalctl, поиск больших файлов) Файлы journal занимали 3.7G! После безопасной чистки путем указания vacuum-time 25MB.

    -bash-4.2$ sudo du -chd 1 /var/log
    4.0K /var/log/anaconda
    72K /var/log/tuned
    4.0K /var/log/chrony
    33M /var/log/audit
    3.7G /var/log/journal

    -bash-4.2$ sudo journalctl --vacuum-time=1week

/var/log/syslog – системные (включает почти все другие логи), journald (сервис syslod) зачастую сейчас работает параллельно с syslog – journald хранит логи только в RAM, а Syslog в файле; можно этим управлять, в том числе отказом от какого либо из сервисов

/var/log/kern – логи ядра

/var/log/auth.log

Читать дальше