<rmcreative>

RSS

Обновление Rolling Curl

13 сентября 2010

Обновился rolling-curl — PHP-класс для параллельного выполнения большого количества асинхронных HTTP-запросов при помощи curl, который я начал поддерживать в мае 2010.

Пример использования можно посмотреть в анонсе библиотеки. Сегодня я остановлюсь на изменениях, сделанных в основном LionsAd, за что ему огромное спасибо.

  • Исправлена ошибка, не позволяющая перезаписать значения из конфигурации CURL по умолчанию.
  • Теперь используется curl_multi_select, что должно убрать излишнюю нагрузку на процессор.
  • В параметры обработчика теперь передаётся $request, содержащий соответствующий объект запроса.
  • Класс Request переименован в RollingCurlRequest.
  • Добавлен функционал для работы с группами запросов. Смотрите RollingCurlGroup и README.
  • Теперь можно настроить таймаут для curl_multi_select.
  • single_curl теперь возвращает true.
  • Улучшенный README с дополнениями.

Пробуем и обновляемся

Комментарии RSS

  1. №3097
    Тормоз
    Тормоз 13.09.2010, 2:04:14

    Apache License - это что? Можно вкратце? Какие права и обязанности?

  2. №3098
    Ali
    Ali 13.09.2010, 7:31:44

    Возможно свободное изменение, распространение измененных копий за исключением названия, что тут понимать то?

  3. №3099
    Sam
    Sam 13.09.2010, 12:09:24
  4. №3101
    Сергей
    Сергей 13.09.2010, 18:52:31

    А ещё есть библиотека Текст ссылки

  5. №3102
    Тормоз
    Тормоз 13.09.2010, 19:11:14

    Блин, нифига себе коротко.

  6. №3103
    Сергей
    Сергей 13.09.2010, 22:12:59

    Теперь используется curl_multi_select, что должно убрать излишнюю нагрузку на процессор.

    Т.е. теперь эта проблема решена?

  7. №3104
    mihdan
    mihdan 13.09.2010, 23:14:53

    Неплохая либа, часто юзаю - доволен. Хотя и есть траблы на шараварных хостингах - но это мелочи.

  8. №3105
    mihdan
    mihdan 13.09.2010, 23:20:03

    Кнопки в хроме 6-м очень страшные - не помешали бы padiing или font-size поменьше

    http://clip2net.com/clip/m42230/1284405519-clipxm9114-9kb.png

  9. №3106
    Sam
    Sam 13.09.2010, 23:49:32

    Тормоз

    В общем, можно делать всё, что угодно, кроме вырезания копирайтов.

    Сергей

    Должна быть решена. Проверьте.

  10. №3129
    Николай
    Николай 17.09.2010, 12:05:22

    и чем оно лучше http://code.google.com/p/phpmulticurl/ ?

  11. №3131
    Sam
    Sam 17.09.2010, 14:59:43

    Николай

    Не знаю, я phpmulticurl не использовал.

  12. №3149
    akuba
    akuba 23.09.2010, 11:50:17

    а есть еще MultiCurl.class.php от Vadym Timofeyev

  13. №3340
    Tedeus
    Tedeus 03.11.2010, 2:33:57

    а как на счет включить в библиотеку перебор CURLOPT_USERAGENTв заданом масиве? думаю будет полезно...

  14. №3347
    Sam
    Sam 04.11.2010, 0:54:59

    UA можно задать при добавлении URL.

  15. №3764
    kolyuchy
    kolyuchy 19.01.2011, 11:42:28

    Скажите, для изменения таймаута между соединениями, достаточно изменить переменную "$timeout = 10;" в файле RollingCurl.php?

  16. №3765
    Sam
    Sam 19.01.2011, 12:57:23

    Это таймаут, а не пауза. Таймаута, насколько я помню, не предусмотрено.

  17. №3766
    kolyuchy
    kolyuchy 19.01.2011, 13:55:34

    т.е. получается что запросы идут один за одним и это невозможно отрегулировать?

  18. №3767
    Сергей
    Сергей 19.01.2011, 13:57:33

    См. http://code.google.com/p/multirequest/ там у MultiRequest_Handler есть опция requestingDelay

  19. №3768
    kolyuchy
    kolyuchy 19.01.2011, 14:02:21

    2 Сергей: у меня уже используется rollingcurl, переход на другую библиотеку невозможен

  20. №3769
    Sam
    Sam 19.01.2011, 18:59:16

    kolyuchy, получается, что так. По крайней мере на данный момент.

  21. №6917
    Макс
    Макс 28.10.2012, 2:12:20

    Для тех, кому нужен RollingCurl, но с поддержкой работы со списками прокси-серверов "на лету", а так же имеющий бонусы в виде:

    • загрузка proxy-list из файла/массива
    • проверка работоспособности прокси
    • проверка отдаваемого прокси-сервером контента
    • загрузка useragent-list из файла/массива
    • подмена proxy/useragent «на лету»
    • режим «веб-консоли»
    • логирование действий

    и прочее - можете посмотреть в сторону класса на php Текст ссылки, написанного на основе ныне не поддерживающегося Rolling Curl.

  1. Почта опубликована не будет.

  2. Можно использовать синтаксис Markdown или HTML.

  3. Введите ответ в поле. Щёлкните, чтобы получить другую задачу.