weril – Weril

Coding, Network: API и методы работы с ним (SOAP, REST, JSON, XML, YAML, TOML, YANG, TOML, protocol buffers/Apache Thrift, graphQL; SWAGGER, WSDL, WADL; restconf, netconf; Cisco PXGRID)

В общем про api и методы взаимодействия с ними (rest, yang, soap, xml, json, restconf/netconf, etc) в отдельной статье
CLI зачастую >>> всех других методов, пример яндекс со своей «Аннушкой» работает именно поверх CLI
- Мы про это расскажем в докладах, но нет, cli – как общий знаменатель для всего.

Coding: Python

Python.org – основной сайт. Тут можно скачать актуальный python на windows/linux/mac os, посмотреть документацию
Гвидо ван Россум – творец языка. По сути аналог Линус Торвальдса для Linux. 1989 год Голландский разработчик Гвидо ван Россум в качестве хобби-проекта во время рождественских каникул создает язык программирования Python.

Процессор (CPU): Architecture, Cache, QPI, Hyper-Threading, AES-NI, clock speed/cycles (MHz, GHz), Intel Compilers, NUMA, counters, temperature

Информация собрана из разных мест, часть как конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

DMA — это механизм, с помощью которого аппаратное устройство может передавать данные в память или из нее без использования процессора. Процессор требуется для настройки передачи, и устройство будет сигнализировать процессору, когда он завершит передачу.

Гипервизоры VirtualBox/WorkStation/Fusion/ESXI/Hyper-V/XEN; KVM/QEMU (oVirt/Proxmox VE)

(Security, Virtualization) Все что надо знать о безопасности гипервизоров:

Гипервизор Xen разрешил гостевым системам взламывать хосты

Разработчики гипервизора Xen выкатили пачку экстренных обновлений, закрывающих сразу двадцать уязвимостей. И если восемь из них просто приводят к отказу в обслуживании или утечке памяти, то оставшиеся двенадцать полностью умножают на ноль саму концепцию виртуализации.

Оперативная память (RAM): free, paging, swapping, commit/active/available

Отдельная статья про оперативную память (эта)
Отдельная статья про диски
Часть инфы из вебинара HonorCup E=DC2 для сдачи HCNA Storage
Для современных серверов норма иметь поддержку 4-8ТБ RAM DDR5
Core устройства (например, pe-роутеры) иногда падают из-за недостатка памяти по OOM (out of memory) с деградацией сервиса (например,падение BGP соседства)

DDR1/2/3/4

SDR -> DDR -> DDR2 -> DDR3 -> DDR4 – поколения ОП.

Статистика и математика в IT

Сюда переношу все, что связано со статистикой и нужно было на практике – в тестировании, разработке и в других инженерных задачах.
Нужно уметь применять статистику (с этим часто проблема) и
- если задача найти максимальное расстояние между значениями ряда/выборки – то среднеквадратичное отклонение не подходит, нужно считать размах
- если задача найти максимальное расстояние от среднего – то среднеквадратичное отклонение тоже не подходит, нужно считать максимальное относительное отклонение

Про метрологию / погрешность / неопределенность измерений подробнее в отдельной статье про нагрузочное тестирование

(статистика, python, сетевое тестирование)

В целом же можно порекомендовать делать pandas describe на выборку для получения разнообразной статистики:

- - - count 94248.000000 – количество элементов (размер выборки)
    - mean 1.691554 – среднее
    - std 0.979690 – стандартное отклонение (величина высокая)
    - min -0.108278 – меньше этого гарантировано (на основе выборки) не будет
    - 25% 0.396944 – 25% выборки выше этого значения
    - 50% 2.301407 – медиана (median)
    - 75% 2.348383 – 75% выборки ниже этого значения
    - max 6.486859 – больше этого гарантировано (на основе выборки) не будет

Так же может дополнительно быть необходимо:

- - - 1%
      - https://www.rfc-editor.org/rfc/rfc9693.html

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей

Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS. Речь идет о сотнях тысяч графических процессоров Nvidia Corp.

Linux: bash спец. символы, man, переменные (> >> $ & # ~/$HOME $USER \ | /n \t ^M $? * ; ()), redirect stdout/stderr, ALIAS, bashrc, profile; программирование в bash (полезные скрипты, получение опций в скриптах, функции, условия, циклы, case, массивы)

Отдельные статьи:
- Linux xargs: запуск утилит на список, простая многопоточность в bash
- Linux: работа с числами (bc, dc, expr)
В Bash для вывода всех переменных окружения (environment variables) используются команды
- env
- printenv
Узнать какой SHELL

~ echo $SHELL
/bin/bash

bash-3.2$ echo $SHELL   # MACOS
/bin/zsh

(ssh, bash) Пересылка сообщений между терминалами

# echo to special terminal
echo "Hello Terminal 3" > /dev/pts/3

# echo to all terminal linux (3 vars)
echo "Your message here" | wall
wall message.txt

Security: основная статья

Карта РФ ИБ База

Коварно ввели admin/admin, обстоятельства непреодолимой силы не позволяли обновить php, хак утилита cat и привилигерованный контейнер 🤣😁

https://disk.yandex.ru/i/Pn4ToLvOz7pMVg

(Wifi, IoT, security) Изоляция умной техники дома (защита от взлома хостов домашней сети с уязвимого устройства умного дома) возможна на роутере без отдельного ssid через функционал Изоляция Wi-Fi сети по SSID.

Методы установки приложений, компиляция приложений и ядра, библиотеки

Через средство управления пакетами ОС (Ubuntu: apt-get, CentOS: yum, Gentoo: emerge). Пакет чаще всего имеет не последнюю версия приложения/компилятора (ruby, phantomjs), но она почти гарантированно stable и легко ставится.

Для установки приложений в среде операционной системы GNU/Linux лучше всего пользоваться средствами управления пакетами вашего дистрибутива.