Автор Тема: Парсинг с Google (ошибка сети и т.п.)  (Прочитано 6985 раз)

Александр

  • Новичок
  • *
  • Сообщений: 31
    • Просмотр профиля
В общем не знаю у кого как, а у меня в последний месяц парсить с Гугла через прокси практически не возможно.
Ошибка сети и подобные штуки красным шрифтом. Уже и IP менял у компа.
Да, возможно нужны другие прокси, но с Яндексом они же работают.
Вот сижу и не знаю что вообще делать в этой ситуации. Ждать "пока он похудеет"?  :)

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #1 : 07 Июнь 2014, 06:27:17 »
Александр, пришлите пожалуйста в поддержку журнал работы блока в котором произошла ошибка.

Александр

  • Новичок
  • *
  • Сообщений: 31
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #2 : 08 Июнь 2014, 06:31:21 »
А есть смысл? Кажется уже присылал когда-то по данному вопросу.
Вероятно Гуглу не нравятся прокси. И только Гуглу.
Вот думал может кто прочитает и подскажет настройки или прокси по лучше. А может ещё чего-то. Не думаю, что проблема такая только у меня.

borejmash

  • Новичок
  • *
  • Сообщений: 11
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #3 : 17 Июнь 2014, 07:59:45 »
мне кажется, что нужно сделать опцию "отключать забаненые прокси автоматически"
Скажем у меня лист из 1000 новых (не юзаных) проксей (и не толькоу меня) первые 300 убиваются гуглом в течении 2х недель потихоньку. После этого пока до рабочих проксей дойдет очередь - проходит много времени.

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #4 : 17 Июнь 2014, 08:21:39 »
borejmash, бан проходит в течении суток, не расточительно убивать прокси, ведь завтра он уже будет работать? но идея хорошая, например можно удалять из списка нерабочие прокси, ну и забаненные\закапченные если нужно.

borejmash

  • Новичок
  • *
  • Сообщений: 11
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #5 : 17 Июнь 2014, 10:11:19 »
функционал кей коллектора в этом плане - отличная реализация. могу сделать скрин если у вас нет кей-коллектора

borejmash

  • Новичок
  • *
  • Сообщений: 11
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #6 : 17 Июнь 2014, 10:18:11 »
функционал кей коллектора в этом плане - отличная реализация. могу сделать скрин если у вас нет кей-коллектора

Дело в том, что кроме меня проксями пользуется еще несколь .... эммм сот, а может и тысяч человек, поэтому бан не проходит :)

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #7 : 17 Июнь 2014, 10:20:50 »
borejmash, давайте скрин, посмотрим:)

borejmash

  • Новичок
  • *
  • Сообщений: 11
    • Просмотр профиля
Re: Парсинг с Google (ошибка сети и т.п.)
« Ответ #8 : 17 Июнь 2014, 12:03:04 »
пожалуйста :)
« Последнее редактирование: 17 Июнь 2014, 12:04:36 от borejmash »