Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей


Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.



Читать дальше

Статистика и математика в IT

  • Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
  • Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

Арифметической прогрессией (арифметической последовательностью) – последовательность с фиксированным инкрементом.

Читать дальше

Excel: разные хинты

  • Восстановление файлов из временных / saved / temp , директории:
C:\Users\redkin.petr\AppData\Local\Microsoft\Office\UnsavedFiles
C:\Users\redkin.petr\AppData\Roaming\Microsoft\Excel\
C:\Users\redkin.petr\Documents
=СЕГОДНЯ() Текущая дата (значения могут быть разными)
=ТДАТА() Текущие дата и время (значения могут быть разными)
  • Если хочется использовать округленное число в формуле excel, то нужно его в исходной ячейке округлить через функцию =ОКРУГЛ, а не менять форму представления ячейки.


Читать дальше

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

  • В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
  • CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
    • Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.



Читать дальше

Network/Security: NMS monitoring/observability/management/inventory решения (Zabbix, Cacti, Nagios, MRTG, NocTools; Orange, Cisco PRIME, Arista CVP, Netcool, BMC Patrol/TrueSight, Infovista), протоколы (snmp, netflow), NMS, будущее (rpc, nats, brpc, yang/restconf/netconf); Cisco: Stealthwatch, CTA, ETA; мониторинг производительности системы (sysstat); XDR; SIEM; NTA, NAD; BGP BMP; HADAL

  • Linux Performance Observability Tools: strace ltrace ss nstat gethostlatency sar proc dmesg dstat opensnoop laof fatrace filelife pcstat execsnoop mpstat profile runqlen offcputime softirqs turbostat show boost rmdsr perf fteace LTTng BCC bpftrace ext4dist ext4slower top atop ps pidstat vmstat slabtop free tiptop perf numastat hardirqs criticalstat nicstat netstat ip lldptool snmpget ethtool tcplife tcpretrans udpconnect tcpdump perf tiptop mdflush iostat biosnoop biolatency biotop blktrace swapon

  • Мониторинг призван уменьшать значение времени исправления проблем (MTTR) или даже предотвращать возникновение аварийных ситуаций (подробнее ниже)
  • Задача классического админа, решаемая мониторингом – сделать алерты в системе мониторинга на уменьшение количества краски в принтерах
  • Существует разная глубина взросления «мониоринга» – реакция по негативному фидбеку/инцидента от пользователя, реакция на события мониторинга еще до обращения клиента, автоматизация на события мониторинга (напр.


Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/mdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

разное/ОПРЕДЕЛЕНИЯ

  • Основные мониторинг объекты хранения:

    1. утилизация памяти (дисков/ram/swap)
      1. 100% утилизация в df под snap/cd/dvd это нормально т.к. Snap всегда полностью утилизированы – они доступны только на read
    2. Iops (inout/output operations per second – read/write)
    3. Методы добавления места
    4.     (0) Сначала убедиться что то, что занимает место хранения это легитимные файлы (du)
    5.     (1) LVM, если используется, позволяет в сценариях необходимости добавления памяти хорош – просто добавляем к старому диску еще один новый и пользуемся
    6.     (2) Перенести часть тяжеловесных директорий со старого диска на новый и смонтировать их туда
    7.     (3) Склонировать полностью старый диск на новый более объемный
  • Все в Linux есть файл.


Читать дальше

Linux: логи (/var/log, dmesg, last, lastlog, lastb, history, syslog/journald)

  • https://losst.ru/kak-posmotret-logi-v-linux  – хорошая статья с указанием стандартных путей лог файлов
  • (journalctl, поиск больших файлов) Файлы journal занимали 3.7G! После безопасной чистки путем указания vacuum-time 25MB.

    -bash-4.2$ sudo du -chd 1 /var/log
    4.0K /var/log/anaconda
    72K /var/log/tuned
    4.0K /var/log/chrony
    33M /var/log/audit
    3.7G /var/log/journal

    -bash-4.2$ sudo journalctl --vacuum-time=1week

/var/log/syslog – системные (включает почти все другие логи), journald (сервис syslod) зачастую сейчас работает параллельно с syslog – journald хранит логи только в RAM, а Syslog в файле; можно этим управлять, в том числе отказом от какого либо из сервисов

/var/log/kern – логи ядра

/var/log/auth.log

Читать дальше

Linux: Docker, conrainerd, container security (hardening)

Basics
  • Container security – три основных риска/угрозы/проблемы
    • плохая конфигурация
    • проблемы runtime
    • цепочки поставок
  • Процессы контейнеров видны на “хостовой” машине в ps -aux
  • Применение bestpractice до/после

  • Установка docker на debian12 требует установку репозитория docker в систему.
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/debian


Читать дальше

Network: эволюция производительности сетевых устройств и трансиверов (100G, 400G, 800G)



Читать дальше

Network: стандарты Ethernet 802.3 (поля, скорость, LLC, SNAP, MTU, CSMA/CD, carrier delay, MAC address)

Разное
  • На коммутаторах Cisco, если автосогласование было неуспешно, то режим дуплекса будет таким: если скорость 10 или 100 Мбит/с – half-duplex; если выше – full-duplex.

  • В Японии выпустили патч-корд с магнитным разъёмом, Новинку представил бренд Sanwa. Главной особенностью кабеля KB-SL6ABA (Cat.



Читать дальше