Основы Big data

Конспект вебинара HonorCup E=DC2 для сдачи HCNA Storage.

  • Data Warehouse (DWH) — хранилище, предназначенное для сбора и аналитической обработки исторических данных организации. Анализ помогает руководителям видеть цельную картину бизнеса и принимать решения, как развивать отдельные направления или бизнес в целом. В DWH данные из всех СУБД предприятия аккумулируют и очищают, формируя их единый источник.



Читать дальше

Network, Security: PaloAlto

Разное:
  • АХАХАХХА в ролике о PA performance тестах рандомный чел “I bet it’s full of backdoors for the NSA.“

  • В Palo Alto Networks

    • 23 продукт менеджера.

    • 8 человек только пишет сигнатуры приложений.

  • Мнение: “Я на самом деле считаю, что подход only L7 Пальто оверкил”
  • Мнение: Я бы рекомендовал везде ((отключать анализ приложений, если не используются правила с приложениями)), но пальто это особый случай.


Читать дальше

JAVA заметки

1995 год Язык программирования Java — первый язык программирования с кроссплатформенной поддержкой — был создан компанией Sun Microsystems (в последующем приобретенной компанией Oracle). Ведущим разработчиком в команде был Джеймс Гослинг — он известен как «отец Java».

Производительность
  • Тюнинг производительности JAVA от Oracle

Для тех кто нелюбит Java и говорит что она медленная.

Читать дальше

Системное программирование (C, C++, RUST) и узкоспециализированные языки (fortran, cobol)

  • Для отладки кода C, в том числе даже таких крупных проектов (напр. пропусков атак в них) как snort/suricata можно и нужно использовать отладчик GDB.
The GNU Debugger (GDB) is a portable debugger that runs on many Unix-like systems and works for many programming languages, including Ada, Assembly, C, C++, D, Fortran, Haskell, Go, Objective-C, OpenCL C, Modula-2, Pascal, Rust and partially others.


Читать дальше

Оперативная память (RAM): free, paging, swapping, commit/active/available

DDR1/2/3/4
  • SDR -> DDR -> DDR2 -> DDR3 -> DDR4 – поколения ОП.


Читать дальше

Network/Linux: Shaping, Policing, Impairment, Traffic Control. Ограничение полосы пропускания (Linux: tc, wondershaper; Network: Cisco, Mellanox), внесение задержек и потерь в сетевой трафик

Влияние потери и задержек на Throughput подробно описано в отдельной статье.

Пример кейсов использования impairment:

    • эмуляция гео-распределенной сети
    • эмуляция wireless/satellite/mobile
    • приближение к real world
    • тестирование edge case сценариев

При этом в сетевом тестировании с impairment нужно обращаться “аккуратно”.

EANTC Carsten Rossenhoevel
The benchmarking methodology could be complemented with synthetic loss/delay, but this is out of scope of this draft ((netsecopen)). 


Читать дальше

Тестирование приложений: заметки по JMeter, gatling

Заметки

  • JMeter легко масштабируется с использованием remote_hosts (distributed mode) в одной подсети (см. подробнее ниже).
  • На практике можно запустить очень много JMeter нагрузчиков – знаю о инсталяциях с 10 ТЫС.


Читать дальше

Ответы на quiz selectel perfconf

Quiz прошел, ответы с разумными объяснениями ИИ (при наличии)

Что чаще всего становится узким местом при нагрузочном тестировании веб-приложения?

1) cpu

2) диск

3) сеть

4) зависит от архитектуры

—-

зависит от архитектуры
Cpu ответил grok, но по факту в статьях упоминаются и диск (БД) и сеть и правильный ответ: зависит от архитектуры

Какой показатель latency (задержки) в сети считается критически важным для высоконагруженных систем?

Читать дальше

SecureCRT, Termius, MPutty, (supper)Putty, SolarPutty, mRemoteNG, iTerm, Mobaxterm, Windows Terminal

Альтернативы SecureCRT:

  • Termius – кросс-платформенная альтернатива
  • Windows: Windows Terminal, mRemoteNG, MPutty, SupperPutty, SolarPutty, Mobaxterm (препод Linux особенно хвалил)
  • MacOS: iTerm2 – шикарная альтернатива на Mac

 

 

PUTTY

Король, использую его + закладки сессий самой Windows. Получается довольно удобно. 🙂

По PPK можно легко получить public key – это делает WinSCP с кнопки.

Читать дальше

Devops notes

 

  • Эта статья под распил к конкретные, тут заметки именно
  • Многие инструменты и практики devops на собеседованиях/в требованиях сейчас спрашивают и у сетевых инженеров и у performance инженеров и у программистов; по сути это универсальные знания, которыми часто нужно обладать
  • Кто то SRE выносит отдельно от devops, кто то его считает подвидом devops
  • По практике работы SRE с мониторингом в отдельной статье
  • Многое более детально описано в отдельных статьях – docker, k8s, terraform, best practice (microservice)
  • Часть взято из практики
  • Часть из феникс-проекта
  • Часть с сайта https://easyoffer.ru/rating/devops


Читать дальше