wget/curl – Weril

phantomjs – парсинг web с поддержкой js

Зачем

В отличии от mechanize, который очень удобен и функционален, phantomjs, судя прямо из названия, поддерживает исполнение javascript без установки браузера.

Установка

Устанавливать проще всего через apt-get/yum. Можно так же скачать пакет с сайта, плюсом будет самая свежая версия пакета.

w3m

w3m bash.im – текстовый браузер. В теории можно серфить, на практике использовал только как-то с опцией –dump чтобы удалить все теги без каких-то sub/replace и прочих инструментов.

w3m -dump yandex.ru

PHP wget/curl

Для простых get-запросов достаточен file_get_contents, для чего-то более сложного рекомендуют использовать библиотеку curl. Примеры использования Curl можно взять тут.

Пример

Выгрузка содержимого страницы в php. Юзал fopen насколько помню, чтобы отдать URL с переменной нужно заменить скобки ” на “”.