Медленная скорость парсинга

[Александр]

Здравствуйте, Георгий.
Решил, что пора донимать Вас проблемами здесь на форуме, а не по почте. 
Итак проблема... Запустил парсинг, а он в несколько раз медленнее, чем обычно работает. Ничего не менял по сравнению с предыдущими сканированиями в настройках программы.
Вот не знаю чего делать...

[byterus]

Александр, если ничего не менялось в настройках, то попробуйте настроить антивирус
http://serpparser.ru/doc_firewall_options.html

[Александр]

Сделал, но эффекта никакого не вижу. Правда парсинг в данный момент идёт. Может стоит остановить и запустить ещё раз?
Кстати, непонятно почему исключения слетели в антивирусе. Настраивал же когда-то.

[byterus]

Александр, возможно стоит перезапустить программу. Какая скорость в страницах была раньше и какая стала сейчас?

[Александр]

Было 1-3 секунды. Сейчас и до 30 доходит.

Попробовал перезапустить программу. Скорость та же.

[byterus]

Александр, если проблема еще не исчезла, то пришлите пожалуйста журнал работы любого блока после нескольких минут съема позиций.

[Александр]

Письмо с журналами отправил. Тема письма такая же как тут на форуме: Медленная скорость парсинга.

[byterus]

Александр, спасибо за логи. Посмотрел локальное подключение, абсолютно нормальная скорость, 2-6 секунд на страницу. При работе через прокси скорость зависит от качества прокси.

[Александр]

Честно говоря мне сегодня тоже показалось, что всё нормально.
Но вот вчера ооочень долго сканировал. Уж не знаю с чем это тогда связано было. Список прокси был один и тот же.
Яндекс кажется сильно притормаживал.

[Александр]

Что-то прям беда со скоростью съёма позиций в Яндексе. В несколько раз дольше, чем с Гугла.А раньше всё нормально было.
Это только у меня так или ещё кто страдает?
И не из-за введения "Островов" такая ерунда происходит?

[byterus]

Александр, на локальном подключении тоже низкая скорость? Если да, то пришлите журнал работы с локальным подключением.

[Александр]

Вот посмотрите на локальное по яндексу. Может что-то можно сделать.

[byterus]

Александр, Не сказать что медленно, 7 секунд на страницу, скорее всего это задержка в настройках. Попробуйте уменьшить задержки, но тогда будет больше вероятность бана IP.

[Александр]

Не знаю, не знаю. Что-то 7 секунд я там далеко не всегда вижу. Бывает в разы больше.
Задержки у меня стоят до 3 секунд. Пробовал отключать Разрешение задержки во время парсинга. Не помогает.

Может так и должно быть, но есть два но.
1. Гугл снимает также быстро как и раньше.
2. Скорость по яндексу упала всего пару недель назад. Раньше было нормально.

В общем кажется придётся пережить это... Хотя досадно. Гугл закончил за пару часов, а Яндекс кажется и за 6 не управится.

[byterus]

Александр, ну по крайней мере в том логе что Вы прислали 7 секунд примерно

10.08.2013 14:26:50: Navigate: http://yandex.ru/yandsearch?text=%D0%BC%D0%B5%D0%B1%D0%B5%D0%BB%D1%8C%20%D0%BD%D0%B0%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%20%D0%B2%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6%D0%B5%20%D0%BD%D0%B5%D0%B4%D0%BE%D1%80%D0%BE%D0%B3%D0%BE&numdoc=50&lr=193
10.08.2013 14:26:55: Get function result: is_serp_page()
...
10.08.2013 14:26:59: Navigate: http://yandex.ru/yandsearch?text=%D0%BC%D0%B5%D0%B1%D0%B5%D0%BB%D1%8C%20%D0%BD%D0%B0%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6&numdoc=50&lr=193
10.08.2013 14:27:05: Get function result: is_serp_page()
..
10.08.2013 14:29:09: Navigate: http://yandex.ru/yandsearch?text=%D0%BA%D1%83%D1%85%D0%BD%D0%B8%20%D0%BE%D1%82%20%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8F%20%D0%B2%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6%D0%B5&numdoc=50&lr=193
10.08.2013 14:29:16: Get function result: is_serp_page()