Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей


  • Чат боты с которыми работал/работаю
    • Grok
    • ChatGPT
    • Gemini
    • Perplexity
    • Qwen
  • https://nof1.ai/
Программист Jay A устроил соревнование «AI Trading Showdown».

Шестерым нейронкам дали по $10’000 и заставили торговать на Hyperliquid.

Текущие результаты (https://nof1.ai/) доходности:
🟠Deepseek: +39%
🟠Grok: +34%
🟠Claude: +24%
🟠QWEN: +8%
🟠ChatGPT: -27%
🟠Gemini: -30%
  • На концерте Massive Attack запустили видео с распознанием лиц людей из зала в реальном времени.


Читать дальше

Network: FHRP protocols (HSRP, VRRP, GLBP) and Anycast Gateway

TODO: Нужно перенести из IT.

 

Anycast gateway

Примеры:

1 (same MAC):

https://rayka-co.com/lesson/5-vxlan-anycast-gateway/

anycast gateway configuration

IMG_3623.png

Cisco (same IP & MAC):

When multiple leaf switches act together as one single distributed default gateway for the same VLAN, the VLAN IP address remains the same across all the leaf switches, and acts as the gateway IP address for a host that tries to reach an IP address outside its subnet.


Читать дальше

Network, Linux: link aggregation, LAG, portchannel, lacp, aggregated ethernet, MLAG, VPC, teaming, bonding, rtag7, lacp prenegotiation

  • Энтропия hash в зависимости от адресной информации – важный вопрос при распределении трафика. Подробнее в RSS.
  • У Juniper есть mixed rates aggregated ethernet, который позволяет объединить в LAG порты с разной сокрости, причем используя по максимуму пропускную способность каждого порта, пересчитывая соответственно hash.


Читать дальше

Network: BGP общее, реализации (QUAGGA, BIRD, FRRouting); iWAN/PfR in Global Routing

  • Summary видео
    • OMG 🙂 Белый дом решил заняться BGP Biden-⁠Harris Administration Releases Roadmap to Enhance Internet Routing Security
    • BGP изначально построен по принципу доверия инженеру, настраивающему его
    • Множество аварий связанных с BGP, включая утечки маршрутов
      •  
      • в 2008 падал youtube 
      • в 2018 amazon S3 dns трафик перенаправлен ; вопровство денег из криптокошельков
      • в 2021 падал facebook/insta
    • ответом в том числе по мнению белого дома является использование RPKI для валидации коррекности принимаемой информации; при этом он плохо применяется в USA (30%) в сравнении с Европой (70%)

  • CheatSheet
  • Полезные ссылки – построение графов, список соседей по пирингу, префиксы и проч
    • bgp.he.net


Читать дальше

Network: Cisco VPP (Vector Packet Processing)

  • Очень много презентаций о VPP на сайте fd.io
      • Разобрал только эту “How to Push Extreme Limits of Performance and Scale with Vector Packet Processing Technology”
  • Netgate TNSR – один из известных комерческих проектов, использующих VPP
  • Есть даже аппаратные ускорения VPP на базе спец.


Читать дальше

PDF

 

SPLIT PDF (разделение PDF на несколько pdf/jpg файлов)

https://www.ilovepdf.com/split_pdf

https://www.ilovepdf.com/pdf_to_jpg

СЖАТИЕ
  1. https://www.ilovepdf.com/ – хороший сервис, использовал для сжатия 13-страничного документа в виде скана под сервис с ограничением в 4МБ. Ужал с 6MB до 1.8MB с хорошим качеством (причем выбор оптимального, а не максимального по сжатию алгоритма)!


Читать дальше

Kubernetes (k8s)

  • Использование k8s не обязательно хорошо и правильно – для решения большинства задач proxmox с kvm + контейнерами вполне достаточно.
    K8s же это значимое доп. Complexity, хотя и утрировать проблему тоже не нужно – есть типовые работающие сценарии, есть даже множественные реализации GUI интерфейса для k8s (самый популярный kubernetes dashboard)
DEVOPS это IVI4 админ, SRE Iv/5.


Читать дальше

Network security (opensource ngfw): Pfsense, opensense/Opnsense и TNSR (Tensor)

  • Многое ниже на основе интервью Tom Lawrence из Lawrence Systems
  • PERFORMANCE LIMITATIONS (IMIX): routing 10G (ideal 20G), firewall 5G (ideal 20G), ipsec 1G (ideal 3G)
  • Pfsense основан на bsd (like juniper)
  • На основе короткой аналитики
    • Pfsense более популярен в РФ и считается более стабилен
    • Opnsense более популярен у домашних пользователей, которые любят open source, лучше графический интерфейс
  • В pfsense есть возможность подключать сторонние плагины (типо keenetic).


Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Linux: permissions/права/sudo & user/group management

  • POSIX based file permissions пришли еще с UNIX (поэтому актуальны и для MacOS), они определили формат назначания прав read/write/execute для user/group/others; подробнее ниже
  • ACL based file permissions позволяют назначать разные права для разных пользователей и групп, в отличии от классического POSIX подхода; подробнее ниже
  • Удобный калькулятор разрешений в десятичом виде в зависимости от типа прав (r/w/e) и scope (u/g/o)

  • Грамотные админы в повседневной работе не работают из под root, а заходят в эту учетку только если нужно что-то сделать – защита от случайных поломок, безопасность (как минимум пароль нужно ввести для входа под root)
  • Изначально ownership придуман чтобы собственник даже в случае некорректной установки прав не потерял доступ

 

sudo/su
su – тоже самое что su root.


Читать дальше