Автоматический забор содержимого страниц сайтов

Есть сайты, содержимое страниц которых, не получается забрать с помощью библиотеки curl или multicurl и с помощью прокси. Чтоб забирать содержимое этих страниц, было написано приложение для браузера. Оно справляется со своей задачей. Но надо проходить по каждой ссылке, ждать полной загрузки и нажимать на значок приложения. Это бесконечно долго, особенно когда их штук 200. Подскажите каким еще путем можно пойти, чтоб решить задачу сбора содержимого страниц?