Форум SERP Parser
Основной раздел => Работа с программой => Тема начата: Александр от 04 Август 2013, 18:41:05
-
Здравствуйте, Георгий.
Решил, что пора донимать Вас проблемами здесь на форуме, а не по почте. :)
Итак проблема... Запустил парсинг, а он в несколько раз медленнее, чем обычно работает. Ничего не менял по сравнению с предыдущими сканированиями в настройках программы.
Вот не знаю чего делать...
-
Александр, если ничего не менялось в настройках, то попробуйте настроить антивирус
http://serpparser.ru/doc_firewall_options.html
-
Сделал, но эффекта никакого не вижу. Правда парсинг в данный момент идёт. Может стоит остановить и запустить ещё раз?
Кстати, непонятно почему исключения слетели в антивирусе. Настраивал же когда-то.
-
Александр, возможно стоит перезапустить программу. Какая скорость в страницах была раньше и какая стала сейчас?
-
Было 1-3 секунды. Сейчас и до 30 доходит.
Попробовал перезапустить программу. Скорость та же.
-
Александр, если проблема еще не исчезла, то пришлите пожалуйста журнал работы любого блока после нескольких минут съема позиций.
-
Письмо с журналами отправил. Тема письма такая же как тут на форуме: Медленная скорость парсинга.
-
Александр, спасибо за логи. Посмотрел локальное подключение, абсолютно нормальная скорость, 2-6 секунд на страницу. При работе через прокси скорость зависит от качества прокси.
-
Честно говоря мне сегодня тоже показалось, что всё нормально.
Но вот вчера ооочень долго сканировал. Уж не знаю с чем это тогда связано было. Список прокси был один и тот же.
Яндекс кажется сильно притормаживал.
-
Что-то прям беда со скоростью съёма позиций в Яндексе. В несколько раз дольше, чем с Гугла.А раньше всё нормально было.
Это только у меня так или ещё кто страдает?
И не из-за введения "Островов" такая ерунда происходит?
-
Александр, на локальном подключении тоже низкая скорость? Если да, то пришлите журнал работы с локальным подключением.
-
Вот посмотрите на локальное по яндексу. Может что-то можно сделать.
-
Александр, Не сказать что медленно, 7 секунд на страницу, скорее всего это задержка в настройках. Попробуйте уменьшить задержки, но тогда будет больше вероятность бана IP.
-
Не знаю, не знаю. Что-то 7 секунд я там далеко не всегда вижу. Бывает в разы больше.
Задержки у меня стоят до 3 секунд. Пробовал отключать Разрешение задержки во время парсинга. Не помогает.
Может так и должно быть, но есть два но.
1. Гугл снимает также быстро как и раньше.
2. Скорость по яндексу упала всего пару недель назад. Раньше было нормально.
В общем кажется придётся пережить это... Хотя досадно. Гугл закончил за пару часов, а Яндекс кажется и за 6 не управится.
-
Александр, ну по крайней мере в том логе что Вы прислали 7 секунд примерно
10.08.2013 14:26:50: Navigate: http://yandex.ru/yandsearch?text=%D0%BC%D0%B5%D0%B1%D0%B5%D0%BB%D1%8C%20%D0%BD%D0%B0%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%20%D0%B2%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6%D0%B5%20%D0%BD%D0%B5%D0%B4%D0%BE%D1%80%D0%BE%D0%B3%D0%BE&numdoc=50&lr=193
10.08.2013 14:26:55: Get function result: is_serp_page()
...
10.08.2013 14:26:59: Navigate: http://yandex.ru/yandsearch?text=%D0%BC%D0%B5%D0%B1%D0%B5%D0%BB%D1%8C%20%D0%BD%D0%B0%20%D0%B7%D0%B0%D0%BA%D0%B0%D0%B7%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6&numdoc=50&lr=193
10.08.2013 14:27:05: Get function result: is_serp_page()
..
10.08.2013 14:29:09: Navigate: http://yandex.ru/yandsearch?text=%D0%BA%D1%83%D1%85%D0%BD%D0%B8%20%D0%BE%D1%82%20%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8F%20%D0%B2%20%D0%B2%D0%BE%D1%80%D0%BE%D0%BD%D0%B5%D0%B6%D0%B5&numdoc=50&lr=193
10.08.2013 14:29:16: Get function result: is_serp_page()
-
Да... Если так смотреть, то Вы правы :)
Но вот просто для сравнения ещё раз - запускаю только локальное. 2 подключения - Яндекс и Гугл. Разница по скорости в разы. Раньше отличалась не сильно.
Я хочу сказать, что даже без применения прокси и с локальным что-то при парсинге с яндекса.
Буду думать/размышлять. Если такая проблема только у меня возникла, значит она где-то тут ))) Ведь что-то же должно было повлиять.
-
В общем кажется придётся пережить это... Хотя досадно. Гугл закончил за пару часов, а Яндекс кажется и за 6 не управится.
как вам это удается? у меня Гугл меня постоянно банит. Яндекс по 3 регионам снимает, а в Гугле даже одну Украину и 1/3 запросов не могу собрать за сутки. Бан даже через прокси моего IP :( Потом начинаются новые сутки и все эти ключи по-новому начинаются :(... и до бесконечности. Хотела была купить программу, но напряг с сутками этот останавливает... Кстати, можно где-то указать, чтобы продолжало не проверенные только проверять, а за предыдущие сутки проверенные не трогал?
-
Не знаю, с проверенными тоже проблема... Если остановил папсинг, то есть шанс, что будет повторно проверку делать.
Я запускаю несколько потоков через разные прокси. Загружаю список в настройка (купите доступ в каком-нибудь сервисе). Плюс ставлю задержки. Щас стоит 1-3 сек. Но можно и больше выставить конечно. Если будут проблемы.
Ещё через каждые 100 запросов на 120 секунд пауза.
А проблема со скоростью Яндекса решил переустановкой IE.
-
Не знаю, с проверенными тоже проблема... Если остановил папсинг, то есть шанс, что будет повторно проверку делать.
Я запускаю несколько потоков через разные прокси. Загружаю список в настройка (купите доступ в каком-нибудь сервисе). Плюс ставлю задержки. Щас стоит 1-3 сек. Но можно и больше выставить конечно. Если будут проблемы.
Ещё через каждые 100 запросов на 120 секунд пауза.
А проблема со скоростью Яндекса решил переустановкой IE.
Да в Яндексе у меня нормально. А вот Гугл 4к ключей за сутки не проверяет, а потому потом уже старые ключ за новые сутки по кругу начинает... и опять не успевает проверить... Сделать бы для Гугла что ли в сутках 48 часов хотя бы? ;D Смех смехом, но что делать - не знаю. Разбивать по группам списком ключей на урлы - тоже замучаюсь потом в Эксель это собирать. Да и статистику уже имеющуюся потеряю :( Неудобно, короче как-то
-
А парсинг в несколько потоков через прокси, но с задержками не помогает? Можно ещё и саму программу через прокси запустить.
-
Alenka, для увеличения скорости попробуйте это:
Настроить антивирус
http://serpparser.ru/doc_firewall_options.html
Сбросить параметры Internet Explorer по умолчанию
http://serpparser.ru/screenshots/ie_defaults.png
-
Спасибо. Это читала еще, когда не была зарегена. И сделала.
А как запустить программу через прокси? Где почитать? Может так попробую...
-
Alenka, настройки программы описаны тут
http://serpparser.ru/doc_options.html
если останутся вопросы по настройке - обращайтесь.
-
У меня последнее время тоже очень долго сканируется. Из 212 заданий половина выполняется довольно быстро. А чем дальше, тем дольше. Вчера последних 4 или 6 заданий стояли без изменений пару часов. Что может быть?
-
Yurez, пришлите журналы работ этих заданий, посмотрю в чем может быть дело.
-
Ждать до конца проверки или не обязательно?
-
Yurez, если потоки стоят продолжительное время(5-10 минут) без видимых подвижек, то дальше можно не ждать, присылайте их журналы на support@serpparser.ru
-
Т.е. мне нужно будет нажать "отмена"? И где потом журналы брать?
-
Yurez, нет, Отмену нажимать не нужно, журнал работы можно открыть нажав на ссылку Показать журнал работы
http://serpparser.ru/screenshots/thread.png
после того как журналы сохранены можно прерывать процесс.
-
Из-за маленького окна программы не видел те ссылки) Ок.
-
Вообще-то сейчас нормально все прошло. Но я убрал из источников Mail. Может, то он так тормозил процесс?
-
Yurez, возможно и майл, в следующий раз когда проблема воспроизведется, сохраните журналы, посмотрим что там.
-
Хорошо