php-wget/curl

Curl/wget разное

https://httpie.org/ – а еще есть такая “модная” альтернатива curl/wget

CURL

(curl/wget, xargs) многопроцессный curl

seq 1 10000 | xargs -n 1 -P 10 ./curl.sh &>test_log.10k.10p.log

cat curl.sh
>&2 echo "Transaction ID $1 started"
curl "https://srv.test:443/1024b.txt" -v -o 1024b.$1.txt
md5=$(md5sum 1024b.$1.txt)

phantomjs – парсинг web с поддержкой js

- (macbook, phamtomjs) На macook и ios можно запускать shortcuts, там писать код (ниже пример с выгрузкой страницы html с запуском js!) и автоматизировать запуск (на ios через сами shortcuts, на macbook через cron/shorty)
```
crontsb -l
*/2 * * * * /Users/rpv/lesta_shortcut.sh
```

PHP wget/curl

Для простых get-запросов достаточен file_get_contents, для чего-то более сложного рекомендуют использовать библиотеку curl. Примеры использования Curl можно взять тут.

Пример

Выгрузка содержимого страницы в php. Юзал fopen насколько помню, чтобы отдать URL с переменной нужно заменить скобки ” на “”.