Медленная скорость парсинга

[Александр]

Да... Если так смотреть, то Вы правы
Но вот просто для сравнения ещё раз - запускаю только локальное. 2 подключения - Яндекс и Гугл. Разница по скорости в разы. Раньше отличалась не сильно.
Я хочу сказать, что даже без применения прокси и с локальным что-то при парсинге с яндекса.
Буду думать/размышлять. Если такая проблема только у меня возникла, значит она где-то тут ))) Ведь что-то же должно было повлиять.

[Alenka]

В общем кажется придётся пережить это... Хотя досадно. Гугл закончил за пару часов, а Яндекс кажется и за 6 не управится.

как вам это удается? у меня Гугл меня постоянно банит. Яндекс по 3 регионам снимает, а в Гугле даже одну Украину и 1/3 запросов не могу собрать за сутки. Бан даже через прокси моего IP Потом начинаются новые сутки и все эти ключи по-новому начинаются ... и до бесконечности. Хотела была купить программу, но напряг с сутками этот останавливает... Кстати, можно где-то указать, чтобы продолжало не проверенные только проверять, а за предыдущие сутки проверенные не трогал?

[Александр]

Не знаю, с проверенными тоже проблема... Если остановил папсинг, то есть шанс, что будет повторно проверку делать.

Я запускаю несколько потоков через разные прокси. Загружаю список в настройка (купите доступ в каком-нибудь сервисе). Плюс ставлю задержки. Щас стоит 1-3 сек. Но можно и больше выставить конечно. Если будут проблемы.
Ещё через каждые 100 запросов на 120 секунд пауза.

А проблема со скоростью Яндекса решил переустановкой IE.

[Alenka]

Не знаю, с проверенными тоже проблема... Если остановил папсинг, то есть шанс, что будет повторно проверку делать.

Я запускаю несколько потоков через разные прокси. Загружаю список в настройка (купите доступ в каком-нибудь сервисе). Плюс ставлю задержки. Щас стоит 1-3 сек. Но можно и больше выставить конечно. Если будут проблемы.
Ещё через каждые 100 запросов на 120 секунд пауза.

А проблема со скоростью Яндекса решил переустановкой IE.

Да в Яндексе у меня нормально. А вот Гугл 4к ключей за сутки не проверяет, а потому потом уже старые ключ за новые сутки по кругу начинает... и опять не успевает проверить... Сделать бы для Гугла что ли в сутках 48 часов хотя бы?  Смех смехом, но что делать - не знаю. Разбивать по группам списком ключей на урлы - тоже замучаюсь потом в Эксель это собирать. Да и статистику уже имеющуюся потеряю Неудобно, короче как-то

[Александр]

А парсинг в несколько потоков через прокси, но с задержками не помогает? Можно ещё и саму программу через прокси запустить.

[byterus]

Alenka, для увеличения скорости попробуйте это:

Настроить антивирус
http://serpparser.ru/doc_firewall_options.html

Сбросить параметры Internet Explorer по умолчанию
http://serpparser.ru/screenshots/ie_defaults.png

[Alenka]

Спасибо. Это читала еще, когда не была зарегена. И сделала.

А как запустить программу через прокси? Где почитать? Может так попробую...

[byterus]

Alenka, настройки программы описаны тут
http://serpparser.ru/doc_options.html
если останутся вопросы по настройке - обращайтесь.

[Yurez]

У меня последнее время тоже очень долго сканируется. Из 212 заданий половина выполняется довольно быстро. А чем дальше, тем дольше. Вчера последних 4 или 6 заданий стояли без изменений пару часов. Что может быть?

[byterus]

Yurez, пришлите журналы работ этих заданий, посмотрю в чем может быть дело.

[Yurez]

Ждать до конца проверки или не обязательно?

[byterus]

Yurez, если потоки стоят продолжительное время(5-10 минут) без видимых подвижек, то дальше можно не ждать, присылайте их журналы на support@serpparser.ru

[Yurez]

Т.е. мне нужно будет нажать "отмена"? И где потом журналы брать?

[byterus]

Yurez, нет, Отмену нажимать не нужно, журнал работы можно открыть нажав на ссылку Показать журнал работы
http://serpparser.ru/screenshots/thread.png
после того как журналы сохранены можно прерывать процесс.

[Yurez]

Из-за маленького окна программы не видел те ссылки) Ок.