Category: Linux

phantomjs – парсинг web с поддержкой js

    • (macbook, phamtomjs) На macook и ios можно запускать shortcuts, там писать код (ниже пример с выгрузкой страницы html с запуском js!) и автоматизировать запуск (на ios через сами shortcuts, на macbook через cron/shorty)
    crontsb -l
*/2 * * * * /Users/rpv/lesta_shortcut.sh
<br><br> Читать дальше

w3m

w3m bash.im – текстовый браузер. В теории можно серфить, на практике использовал только как-то с опцией –dump чтобы удалить все теги без каких-то sub/replace и прочих инструментов.

w3m -dump yandex.ru
<br><br> Читать дальше

Файловые менеджеры WinSCP, Midnight Commander

WinSCP
Предотвращаем разрыв SCP-SSH сессии по timeouts, используя WinSCP.  В настройках сессии выбираем – Connection -> sending of null SSH packets (таймаут оставлял 30 секунд).
Чтобы открывать файлы ассоциированным с расширением на ПК приложением нужно в разделе Editors добавить первую строчку (самая приоритетная) связав там все расширения с “Associated application”.
<br><br> Читать дальше

Fail Cron test -x /etc/init.d/sendmail

При работе с почтой сталкивался с сыпящимися ошибками cron из-за теста sendmail. Судя по форумам трабла с конфликтом разных средств отправки сообщений и из-за того, что при установке второго средства, sendmail продолжает полу-работать. Методов решения несколько (см. ссылки), самым простым (и никак в последствии не повлиявшим на что либо) мне показалось просто закоменчивание проблемной строки в конфиге PROCMAIL для SENDMAIL.<br><br> Читать дальше

select-editor, cron

В Ubuntu есть удобная утилита – select-editor. При первом запуске cron она предлагает выбрать редактор, для редактирования конфигурационного файла cron. По умолчанию используется nano и я раньше использовал только его, пока не привык к vim. Изменить выбор можно запустив утилиту select-editor из консоли.<br><br> Читать дальше

PHP wget/curl

Для простых get-запросов достаточен file_get_contents, для чего-то более сложного рекомендуют использовать библиотеку curl. Примеры использования Curl можно взять тут.
Пример
Выгрузка содержимого страницы в php. Юзал fopen насколько помню, чтобы отдать URL с переменной нужно заменить скобки ” на “”.
<br><br> Читать дальше

Linux сервис на well-known порту

В Linux нельзя запустить прослушивание порта на well-known портах без прав админа. Это касается любого приложения – ruby сервера, linux утилит.
~$ nc -l 80.87.194.88 1111  - ok
~$ nc -l 80.87.194.88 90 - fail
nc: Permission denied
~$ sudo nc -l 80.87.194.88 90 - ok 
<br><br> Читать дальше

WhatsApp

Из Wiki интересные тех. подробности (явно устаревшие) о WhatsApp – Erlang, FreeBSD, 96ГБ ОП и до 3 млн. соединений на сервер.

Серверное ПО WhatsApp написано на Erlang; в январе 2012 года сервера WhatsApp использовали ОС FreeBSD, в них было установлено по 96 ГБ оперативной памяти, и каждый мог обрабатывать от 1 до 2,8 млн соединений
<br><br> Читать дальше

Linux: инструменты компрессии и архивации (zip/gzip/bzip, tar/7zip/7zz)

Задачи архивации и сжатия делаются зачастую вместе для создания ужатых архивов ряда файлов. Пример чаще всего используемой мной команды (удаление исходных файлов, создание tar архива и компрессия gzip):
tar --remove-files -czf logs.tgz logs/
Создание таких ужатых архивов имеет два основных плюса: сохранение объема на носителе и более быстрое копирование на удаленную систему.
<br><br> Читать дальше