Форум SERP Parser
Основной раздел => Ошибки => Тема начата: romkon от 06 Май 2018, 10:29:36
-
В последнее время стало невозможно работать. Постоянно вываливается
Ошибка сети. Ожидание восстановления...
Проект на 200 страниц собирается больше часа. Пробовал другие прокси - то же самое.
(https://image.prntscr.com/image/qhRHO3gcSjiAsU74ixX_2g.png)
-
...и без прокси всё аналогично.
-
romkon, переключитесь на локальное подключение, установите в настройках источника Google параметр Регион по умолчанию, достаточно указанного местоположения. Пришлите журнал работы после ошибки. Журнал работы можно открыть нажав на ссылку Показать журнал работы
http://serpparser.ru/screenshots/thread.png
-
Выставил Регион "Auto-detect by IP", Фильтры не трогал.
(https://image.prntscr.com/image/VYJgsdMJTdCyd7TdqUs-gw.png)
Проверил, получил ту же ошибку. Вот отчёт (https://drive.google.com/file/d/1H1_T7piQxJIaQ10lL1i3kU6mZ3XEmemV/view?usp=sharing). Перепроверил вкладку "Подключение через прокси" в разделе "Движки-Google". Оказалось, что не убрал галочку "Использовать локальное подключение совместно к прокси".
Убрал, продолжил сбор, получил ошибку. Вот отчёт (https://drive.google.com/file/d/1aHWoBDurHYdWojqpsYEV5Mu7Zi7yTIi2/view?usp=sharing).
-
romkon, попробуйте настроить антивирус, брандмауэр и Защитник Windows
http://serpparser.ru/doc_firewall_options.html
Переключиться на локальное подключение можно на первой странице настроек, галочка Использовать только локальное подключение
http://serpparser.ru/doc_options.html#common
-
Антивирусами не пользуюсь. Встроенный также отключен: http://prntscr.com/jeqich
Поставил галочку "Использовать только локальное подключение" и дособрал позиции: http://prntscr.com/jeql6j
Ошибки были, но собралось всё равно очень быстро. Вот отчёт (https://drive.google.com/file/d/1wmVPNg1D3mY4SUiavzk7XOT1jCcxCquD/view?usp=sharing).
Если проблема с прокси, то я использовал 2 разных месячных пакета. Один из них покупался там же, где и в прошлом месяце - проблем тогда не было. К тому же этими пакетами пользуются много людей (это складчина), а жалуюсь только я (возможно, только я использую их для SERPparser)...
-
romkon, установите любой прокси из списка (например этот 95.163.20.126, был первым в журнале) в качестве локального прокси в свойствах обозревателя
https://best-proxies.ru/kb/kak-nastroit-proksi-v-internet-explorer/#proxy
попробуйте открыть гугл выдачу, работает?
-
romkon, установите любой прокси из списка (например этот 95.163.20.126, был первым в журнале) в качестве локального прокси в свойствах обозревателя
https://best-proxies.ru/kb/kak-nastroit-proksi-v-internet-explorer/#proxy
попробуйте открыть гугл выдачу, работает?
Прокси мы уже с Георгием проверяли с неделю назад. Работали. Но проверил ещё раз этот самый вами упомянутый ip. Получил
"Доступ к нашему сервису временно запрещён!
Возможно, ваш компьютер заражён вредоносной программой, которая автоматически обращается к Яндексу.
Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору вашей сети.
"
При этом из той же подсети 95.163.20.125 работает нормально.
Запустил ещё один проект в google.com. 2 минуты висело вот это: https://prnt.sc/jeqrvi
Потом перезапустил без United States в Источнике (уж не знаю, может, это ему не нравится). Сначала та же ошибка, но потом снова "Неизвестная страница" (сложилось впечатление, что это на реКапчу), которая опять быстро проскочила. Вот отчёт (https://drive.google.com/file/d/1EUaL6vtcg6IzGsG26sNz4Ebkc0trme9k/view?usp=sharing).
В общем, по-моему, явно что-то не то...
-
А это не может быть Роскомнадзор? У меня вот иногда Гугл Поиск тупо не открывается в последнее время. И шрифты на сайтах не подгружаются.
Открываю "Открыть поисковую выдачу" из интерфейса проги и вижу: http://prntscr.com/jer5kv
-
romkon, из информации в журнале, да, была рекапча, она была успешно разгадана и сбор пошел дальше. По поводу блокировок - вполне возможно.
Доступ к нашему сервису временно запрещён!
Возможно, ваш компьютер заражён вредоносной программой, которая автоматически обращается к Яндексу.
Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору вашей сети.
Из-за перекодировок не смог ранее прочитать это сообщение в журнале. Странный поставщик прокси для парсинга :D
-
romkon, из информации в журнале, да, была рекапча, она была успешно разгадана и сбор пошел дальше. По поводу блокировок - вполне возможно.
Доступ к нашему сервису временно запрещён!
Возможно, ваш компьютер заражён вредоносной программой, которая автоматически обращается к Яндексу.
Рекомендуем вам проверить компьютер на вирусы или обратиться к администратору вашей сети.
Из-за перекодировок не смог ранее прочитать это сообщение в журнале. Странный поставщик прокси для парсинга :D
Там многу народу пользуется (человек 30). И всегда пользовалось - покупается по 500 ip в месяц. А проблемы только недавно появились. Как же их решить вот всё-таки?..
(https://image.prntscr.com/image/KxlSFUm7RcK5IrP1gfBLWQ.png)
-
romkon, вы обращались к поставщику прокси? По какой причине он блокирует доступ?
-
Нет, это сложно сделать. И почему "блокирует"? Это ж Яндекс блокирует. И без прокси та же проблема актуальна ведь.
-
romkon, мы работали с гугл, при чем тут яндекс?
На локальном подключении присутствовали проблемы с сетью, но через какое то время программа продолжала снимать позиции. Проблемы с сетью Вы наблюдали и из обычного браузера
https://prnt.sc/jer5kv
как программа может их решить?
-
romkon, мы работали с гугл, при чем тут яндекс?
Вы не поняли. В IE у меня домашней страницей Яндекс установлен. Именно он ругался на первый упомянутый мной ip. И в журнале поэтому смотреть нечего, т.к. это была ручная проверка ip. Разве такая проблема в Яндексе - не показатель некачественности данного ip?
На локальном подключении присутствовали проблемы с сетью, но через какое то время программа продолжала снимать позиции. Проблемы с сетью Вы наблюдали и из обычного браузера
https://prnt.sc/jer5kv
Это я ждал от вас диагностики и решения. Получается, что диагностику я провёл сам. Её результат - догадка о том, что проблема - на моей стороне, а точнее в нестабильности соединения с серверами Google из-за действий РКН. Вот только с включенным бесплатным расширением Hotspot Shield (т.е. прокси) поиск в Гугле работает, хоть и медленее. Может, это как-то поможет вам?
как программа может их решить?
Замечательный у вас подход... Давайте всё-таки это я спрошу "как программа может их решить"? Мне нравится программа, хотя периодические обращения в суппорт уже поднадоели. Если вам неинтересны проблемы одного пользователя (меня), т.е. вы не планируете дальнейшее развитие программы - ок, так и скажите, придется искать другой софт. Ответ в стиле "А что мы можем сделать" - это непрофессиональный подход, особенно от людей, берущих деньги за свою работу. Извините, если это не так, но мне в ваших постах видится "Отстаньте уже от нас", от которого я, не самый продвинутый, как видите, пользователь, успел отвыкнуть на НЕрусскоязычных форумах.
Если продолжаем, то я бы хотел от вас чёткого ответа. Например, такого: а) диагностика (что всё-таки не так), б) варианты решения проблемы, в) требования к прокси для работы с программой, г). вы неправильно делаете следующее, а правильно это надо делать так...
С уважением.
-
romkon, в вашем случае есть две проблемы -
1. некачественные прокси;
2. нестабильный доступ к Google на локальном подключении.
В качестве решения, могу рекомендовать приобрести качественные прокси для парсинга Google. Программа поддерживает работу с HTTP IPv4 прокси.
-
Ясно, спасибо! Попробую более дорогие варианты прокси и запущу сбор из другой страны.
-
Запущено локально вне РФ - всё летает, а с прокси - та же ошибка. Осталось понять - f*** RKN or Rostelekom...
Upd: я поторопился. Та же ошибка с локальным, хотя сбор продолжается. https://drive.google.com/open?id=173W2qZgLfNNWgwtmSxtfI1jPN43vztGs
-
romkon , ошибка уже другая, гугл выдает 403 ошибку
http://prntscr.com/jjcdm3
обсуждается например тут
https://productforums.google.com/forum/#!topic/websearch/yL1M1vW5hWM
судя по журналу, гугл запрашивает слишком много капч, проблема скорее всего из-за капчи. Попробуйте включить для гугл галочку Делать паузы между блоками CAPTCHA
http://serpparser.ru/doc_options.html#engines_captcha
установите для начала 20 минут задержки после 5 капч.