Linux: работа с текстом (fmt, sed, awk, tr, cut, cat/tac, tee, column, uniq, sort, paste)

GREP в отдельной статье

fmt
  • примеры есть в cheat.sh
  • вариаций форматирования много

Форматирование данных на входе – к примеру по умолчанию fmt осуществит форматирование, которое приведет к лучшему чтению:

    • объединение слов в одну строку если слов мало в каждой строке
    • или наоборот, вместо одной длиной строки сделает несколько коротких
root@serv:~# cat >sw
Hello
world
and
not
world
root@serv:~# fmt sw
Hello world and not world

root@spr:~# cat >sw
Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world Hello world and not world
root@spr:~# fmt sw
Hello world and not world Hello world and not 
world Hello world and not world Hello world 
and not world Hello world and not world 
Hello world and not world


paste

paste with delimiter (paste с отличным от default delimiter):

paste -d ';' load.csv
<br><br> Читать дальше

Linux: обновление приложений, ОС и драйверов в UBUNTU/Debian, установка системы

  • Аналог статьи про CentOS
  • Debian 10 в web VM: https://webvm.io/
  • (ubuntu/debian, OS loading) В ubuntu есть lifepatching, который позволяет обновить ядро и systemd без перезагрузки как системы, так и сервисов!
  • (Centos, Ubuntu) PackageKit — открытый и свободный набор приложений для обеспечения высокоуровнего интерфейса для различных пакетных менеджеров.
<br><br> Читать дальше

Linux, работа с дисками – разделы, файлы, файловые системы в ОС, LVM (ls, lsblk, fdisk, find, rm/rmdir/shred/tmpwatch, dd, synctoy, df, du, tree, iotop, parted, mkfs, mount, fstab, fsck, find, clonezilla, parted/gparted, OSFmount, ln, life cd&usb, flock, iotop/iostat/lsof, split, paste)

  • Отдельная статья про оперативную память
  • Отдельная статья про диски (эта)
  • Отдельная статья про права
  • (Disk, enterprise) Mirror.yandex.ru: Storage
    • В текущий момент на трех серверах zfs, на трех серверах использует ext4 (не смог переехать на них на zfs из-за зависимости от старого пропатченного командой storage яндексом драйвера hba как контроллера sas и версии ядра linux для дисковой полки этих серверов; в итоге ядро и драйвер не поменять, а на старом ядре только древняя версия zfs), плюс что если будут проблемы уровня ФС они будут не везде 🙂
    • Планомерно мигрирует storage (все новые репы заводит там) с локального хранения на S3 yandex, но отказываться полностью от локального хранения не планирует (защита от кейса аварии в S3 яндекса и нужны будут недоступные дистрибутивы с зеркала).
<br><br> Читать дальше

Системное программирование (C, C++, RUST) и узкоспециализированные языки (fortran, cobol)

  • (rust, C) Значительная часть suricata написана на rust (25%), но часть C все равно значительно больше (73%).
  • (rust, C) Всего 4% кода ClamAV на rust, остальная C (80%) и C++ (9%)
  • (rust, C) apple / corecrypto – в сердце криптографии Apple ни одной строки на RUST, 80% кода C++ 😀
https://github.com/apple/corecrypto
<br><br> Читать дальше

Artificial Intelligence (AI): Machine learning (ML), Deep Learning (DP); оценка эффективности ML моделей



Американские компании OpenAI и Amazon Web Services (AWS) заключили соглашение о стратегическом партнерстве в области искусственного интеллекта на $38 млрд, сообщает Bloomberg. Соглашение рассчитано на семь лет и предусматривает предоставление OpenAI доступа к облачной инфраструктуре AWS.  Речь идет о сотнях тысяч графических процессоров Nvidia Corp.

<br><br> Читать дальше

Coding: архитектура, программирование и разработка, devops, ITIL/IT management

  • (c) В каждом айтишнике живет два волка:
    1. Чистый код, SOLID, взвешенные архитектурные решения
    2. Работает – не трогай, а то хер его знает где отвалится в этом легаси обосранном
  • о code review / код ревью

  • (GitHub, coding best practices) Google держит миллиарды строк кода в одном репозитории

    Google хранит весь код в монорепозитории Piper: около 2 млрд строк и 86 ТБ истории.
<br><br> Читать дальше

Видеонаблюдение/видеоконференции/аудио/медиа/конвертация: IP/WEB камеры, видео-контроллеры, RTSP viewer, запись видео с экрана, BigBlueButton, dante, smpte 2110, teamspeak

  • https://github.com/jitsi/jitsi-meet – бесплатный ВКС (видео/аудио конференции). Может быть интегрировать в rocket.chat.
  • https://apps.google.com/meet/ – бесплатный ВКС от google
  • Частый вопрос – организация доступа к камерам без внешнего IP у роутера, за которым находятся камеры, решения в порядке моего приоритета:
    • VPN на шлюз с внешним сервером IP и маршрутизация внутри VPN – безопасно и достаточно просто при наличии внешнего VPN сервера
    • Облачный или не совсем контроллер (DVR) – cloud access ivideon, unify или другой, зачастую за $
    • DYNDNS (при необходимости с пробросом портов для нескольких камер)
    • Все таки покупка внешнего IP.
<br><br> Читать дальше

Методы установки приложений, компиляция приложений и ядра, библиотеки

  • Через средство управления пакетами ОС (Ubuntu: apt-get, CentOS: yum, Gentoo: emerge). Пакет чаще всего имеет не последнюю версия приложения/компилятора (ruby, phantomjs), но она почти гарантированно stable и легко ставится.
Для установки приложений в среде операционной системы GNU/Linux лучше всего пользоваться средствами управления пакетами вашего дистрибутива.
<br><br> Читать дальше

Editors и IDE (ee, mcedit, nano; google docs, office 360; gedit, vs code, sublime, atom; pycharm, rubymine)

  • При запуске утилит (например crontab -e, vipw, vigr), которые вызывают системный редактор кода, может потребоваться выбор этого редактора при первом запуске, при последующем будет запускаться то, что выбрано. Изменить можно по select-editor
# vipw
Select an editor. To change later, run 'select-editor'.
<br><br> Читать дальше

Security: основная статья

Карта РФ ИБ База

Коварно ввели admin/admin, обстоятельства непреодолимой силы не позволяли обновить php, хак утилита cat и привилигерованный контейнер 🤣😁

https://disk.yandex.ru/i/Pn4ToLvOz7pMVg

  • (Wifi, IoT, security) Изоляция умной техники дома (защита от взлома хостов домашней сети с уязвимого устройства умного дома) возможна на роутере без отдельного ssid через функционал Изоляция Wi-Fi сети по SSID.
<br><br> Читать дальше