Форум SERP Parser

Основной раздел => Работа с программой => Тема начата: nesh от 29 Июль 2013, 22:47:55

Название: Google постоянно банит
Отправлено: nesh от 29 Июль 2013, 22:47:55: Собираю частотку по Гуглу, в настройках указано задержка от 15000 до 25000 мс. Обычно выдача просматриваеться в 8 потоков. Через 3-4 мин - бан. Что делать, уже вторую неделю такая ситуация.
Название: Re: Google постоянно банит
Отправлено: byterus от 30 Июль 2013, 03:07:16: nesh, AdWords банит аккаунт или IP ? Сколько заданий успевает обработать программа?
Название: Re: Google постоянно банит
Отправлено: nesh от 31 Июль 2013, 05:50:38: IP. позиций так 30-50 собирает и все...
Название: Re: Google постоянно банит
Отправлено: byterus от 31 Июль 2013, 05:56:37: nesh, так банит при сборе позиций или снятия частотности(AdWords)? Если при съеме позиций и на таких малых объемах, то скорее всего отключены куки в Internet Explorer. Сделайте такие настройки в IE
http://serpparser.ru/screenshots/ie_cookies.png
Название: Re: Google постоянно банит
Отправлено: nesh от 01 Август 2013, 21:02:12: Банит при сборе позиций - включение куки в ИЕ не внесет погрешность при сборе позиций?
Название: Re: Google постоянно банит
Отправлено: byterus от 02 Август 2013, 06:38:00: nesh, раньше таких проблем не наблюдал.
Название: Re: Google постоянно банит
Отправлено: seobikk от 11 Август 2013, 13:31:51: Проверяю позиции через прокси, локальное соединение при работе с прокси отключено. И буквально после проверки 200-300 кеев гугл банит мой айпи. Почему он банится? Ведь с айпи ничего не проверяется, все идет через прокси.
Название: Re: Google постоянно банит
Отправлено: byterus от 11 Август 2013, 17:29:41: seobikk, бывает такая проблема, решения пока нет:(
Название: Re: Google постоянно банит
Отправлено: daemon от 17 Октябрь 2013, 15:56:45: Здравствуйте,

Столкнулся с аналогичной проблемой, после переустановки Windows.
Windows 8.1 Pro, IE 11

Куки включены.
Google банит буквально в через 10 кеев.
Название: Re: Google постоянно банит
Отправлено: byterus от 17 Октябрь 2013, 16:04:12: daemon, попробуйте увеличить задержки и паузы у гугла.
Название: Re: Google постоянно банит
Отправлено: daemon от 18 Октябрь 2013, 07:23:40: Парсю в 2 потока, увеличил время задержки в google
Но все равно после 4-10 кеев гугл банит
Название: Re: Google постоянно банит
Отправлено: byterus от 18 Октябрь 2013, 11:21:25: daemon, попробуйте сбросить настройки IE по умолчанию
http://serpparser.ru/screenshots/ie_defaults.png

и проверьте, включены ли куки
http://serpparser.ru/screenshots/ie_cookies.png
Название: Re: Google постоянно банит
Отправлено: daemon от 18 Октябрь 2013, 15:57:22: Цитата: byterus от 18 Октябрь 2013, 11:21:25
daemon, попробуйте сбросить настройки IE по умолчанию
http://serpparser.ru/screenshots/ie_defaults.png

и проверьте, включены ли куки
http://serpparser.ru/screenshots/ie_cookies.png

Сделал, ничего не изменилось.
Google до сих пор банит после 10 кеев
Название: Re: Google постоянно банит
Отправлено: byterus от 19 Октябрь 2013, 05:10:27: daemon, пришлите пожалуйста в поддержку (support@serpparser.ru) журнал работы блока в котором произошел бан.
Название: Re: Google постоянно банит
Отправлено: seobikk от 29 Октябрь 2013, 22:11:25: Цитата: daemon от 18 Октябрь 2013, 07:23:40
Парсю в 2 потока, увеличил время задержки в google
Но все равно после 4-10 кеев гугл банит
Ну вот, я уже не один такой.
byterus, ребята ну неужели нельзя что-то придумать? В других сервисах же нормально гугл парсится, а через прокси то тем более)
Название: Re: Google постоянно банит
Отправлено: NovoSeo от 30 Октябрь 2013, 20:45:16: Та же фигня, постоянно... На съем 10000 позиций нужно более 20 раз ip сменить и это в лучшем случае, дополнительно сжирает более 1000 капч...
Название: Re: Google постоянно банит
Отправлено: byterus от 31 Октябрь 2013, 04:55:35: seobikk, ищу спеца по сетям который поможет разобраться с проблемой. Друзья, кто в сетях разбирается, пишите в личку или в поддержку, договоримся.

NovoSeo, используйте прокси.
Название: Re: Google постоянно банит
Отправлено: NovoSeo от 01 Ноябрь 2013, 08:30:52: я бы с радостью, но даже платные прокси в бане)) выкачал 3000 прокси и 95% в бане... да и если прокси живой, то через пару мин бан так же(
у семонитора такой проблемы нет, но меня больше ваша прога устраивает, лучший интерфейс и в разы стабильнее + досьем позиций. Только вот эти баны мешают наслаждаться жизнью)
Название: Re: Google постоянно банит
Отправлено: byterus от 01 Ноябрь 2013, 17:33:02: NovoSeo, может быть много потоков установлено, или задержки маленькие? Попробуйте увеличить задержки и установить паузы.
Название: Re: Google постоянно банит
Отправлено: NovoSeo от 02 Ноябрь 2013, 10:22:53: На это сразу грешил, поставил задержки 5000 и 15000, пауза после 20 ключей на 100 сек, но реально ничего не меняется( благо динамический ip, меняю постоянно, кол-во потоков пробовал так же разное и 1 ставил, в среднем снимает 300-500 ключей и бан стабильно :'(
обидно, функционал проги мне как родной, буду страдать но с ней))) надеюсь спец по сетям что то подскажет :-\
Название: Re: Google постоянно банит
Отправлено: seobikk от 02 Ноябрь 2013, 11:27:24: Цитата: byterus от 31 Октябрь 2013, 04:55:35
seobikk, ищу спеца по сетям который поможет разобраться с проблемой. Друзья, кто в сетях разбирается, пишите в личку или в поддержку, договоримся.

NovoSeo, используйте прокси.
Так вот именно, что если даже прокси есть и стоит отметка "Проверять позиции только через прокси", то локальный IP все равно банится. Прикройте хотя бы эту лазейку.

P.S. С такой низкой активностью форума вы вряд ли тут быстро найдете спеца, который разбирается в сетях.
Название: Re: Google постоянно банит
Отправлено: Finder от 04 Ноябрь 2013, 13:43:00: Цитата: byterus от 31 Октябрь 2013, 04:55:35
ищу спеца по сетям который поможет разобраться с проблемой.
Может на бирже фриланса есть такие специалисты? :-\
Название: Re: Google постоянно банит
Отправлено: buto от 20 Декабрь 2013, 21:19:02: Постоянно банит гугл. 2 потока, время запроса от 20000 мс, паузаа 500 мл. Куки сделал как тут указали. Все равно банит.
Код: [Выделить]
20.12.2013 20:09:11: SERP Parser Professional Build 1555 20.12.2013 20:09:11: Начало обработки поисковой фразы "лодочный мотор" из источника "Домен-Belarus (.by)" 20.12.2013 20:09:11: Ожидание подключения... 20.12.2013 20:09:13: Назначено подключение: Локальное подключение 20.12.2013 20:09:13: Отправка запроса - http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:09:14: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:09:15: Get function result: is_serp_page() 20.12.2013 20:09:15: Result: false 20.12.2013 20:09:15: Get function result: is_captcha_page() 20.12.2013 20:09:15: Result: false 20.12.2013 20:09:15: Get function result: is_ban_page() 20.12.2013 20:09:15: Result: true 20.12.2013 20:09:15: BAN Page 20.12.2013 20:09:15: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:09:17: Get function result: is_serp_page() 20.12.2013 20:09:17: Result: false 20.12.2013 20:09:17: Get function result: is_captcha_page() 20.12.2013 20:09:17: Result: false 20.12.2013 20:09:17: Get function result: is_ban_page() 20.12.2013 20:09:17: Result: true 20.12.2013 20:09:17: BAN Page 20.12.2013 20:09:17: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:09:19: Get function result: is_serp_page() 20.12.2013 20:09:19: Result: false 20.12.2013 20:09:19: Get function result: is_captcha_page() 20.12.2013 20:09:19: Result: false 20.12.2013 20:09:19: Get function result: is_ban_page() 20.12.2013 20:09:19: Result: true 20.12.2013 20:09:19: BAN Page 20.12.2013 20:29:19: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:29:20: Get function result: is_serp_page() 20.12.2013 20:29:20: Result: false 20.12.2013 20:29:20: Get function result: is_captcha_page() 20.12.2013 20:29:20: Result: false 20.12.2013 20:29:20: Get function result: is_ban_page() 20.12.2013 20:29:20: Result: true 20.12.2013 20:29:20: BAN Page 20.12.2013 20:49:20: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 20:49:21: Get function result: is_serp_page() 20.12.2013 20:49:21: Result: false 20.12.2013 20:49:21: Get function result: is_captcha_page() 20.12.2013 20:49:21: Result: false 20.12.2013 20:49:21: Get function result: is_ban_page() 20.12.2013 20:49:21: Result: true 20.12.2013 20:49:21: BAN Page 20.12.2013 21:09:21: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 21:09:22: Get function result: is_serp_page() 20.12.2013 21:09:22: Result: false 20.12.2013 21:09:22: Get function result: is_captcha_page() 20.12.2013 21:09:22: Result: false 20.12.2013 21:09:22: Get function result: is_ban_page() 20.12.2013 21:09:22: Result: true 20.12.2013 21:09:22: BAN Page 20.12.2013 21:29:23: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 21:29:24: Get function result: is_serp_page() 20.12.2013 21:29:24: Result: false 20.12.2013 21:29:24: Get function result: is_captcha_page() 20.12.2013 21:29:24: Result: false 20.12.2013 21:29:24: Get function result: is_ban_page() 20.12.2013 21:29:24: Result: true 20.12.2013 21:29:24: BAN Page 20.12.2013 21:49:24: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 21:49:25: Get function result: is_serp_page() 20.12.2013 21:49:25: Result: false 20.12.2013 21:49:25: Get function result: is_captcha_page() 20.12.2013 21:49:25: Result: false 20.12.2013 21:49:25: Get function result: is_ban_page() 20.12.2013 21:49:25: Result: true 20.12.2013 21:49:25: BAN Page 20.12.2013 22:09:25: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 22:09:27: Get function result: is_serp_page() 20.12.2013 22:09:27: Result: false 20.12.2013 22:09:27: Get function result: is_captcha_page() 20.12.2013 22:09:27: Result: false 20.12.2013 22:09:27: Get function result: is_ban_page() 20.12.2013 22:09:27: Result: true 20.12.2013 22:09:27: BAN Page 20.12.2013 22:29:27: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 22:29:28: Get function result: is_serp_page() 20.12.2013 22:29:28: Result: false 20.12.2013 22:29:28: Get function result: is_captcha_page() 20.12.2013 22:29:28: Result: false 20.12.2013 22:29:28: Get function result: is_ban_page() 20.12.2013 22:29:28: Result: true 20.12.2013 22:29:28: BAN Page 20.12.2013 22:49:28: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 22:49:30: Get function result: is_serp_page() 20.12.2013 22:49:30: Result: false 20.12.2013 22:49:30: Get function result: is_captcha_page() 20.12.2013 22:49:30: Result: false 20.12.2013 22:49:30: Get function result: is_ban_page() 20.12.2013 22:49:30: Result: true 20.12.2013 22:49:30: BAN Page 20.12.2013 23:09:30: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 23:09:31: Get function result: is_serp_page() 20.12.2013 23:09:31: Result: false 20.12.2013 23:09:31: Get function result: is_captcha_page() 20.12.2013 23:09:31: Result: false 20.12.2013 23:09:31: Get function result: is_ban_page() 20.12.2013 23:09:31: Result: true 20.12.2013 23:09:31: BAN Page 20.12.2013 23:29:31: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 23:29:33: Get function result: is_serp_page() 20.12.2013 23:29:33: Result: false 20.12.2013 23:29:33: Get function result: is_captcha_page() 20.12.2013 23:29:33: Result: false 20.12.2013 23:29:33: Get function result: is_ban_page() 20.12.2013 23:29:33: Result: true 20.12.2013 23:29:33: BAN Page 20.12.2013 23:49:33: Navigate: http://google.by/search?q=%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 20.12.2013 23:49:34: Get function result: is_serp_page() 20.12.2013 23:49:34: Result: false 20.12.2013 23:49:34: Get function result: is_captcha_page() 20.12.2013 23:49:34: Result: false 20.12.2013 23:49:34: Get function result: is_ban_page() 20.12.2013 23:49:34: Result: true 20.12.2013 23:49:34: BAN Page 21.12.2013 0:08:23: Отключение драйвера слота... 21.12.2013 0:08:23: Driver destroyed successfully. 21.12.2013 0:08:23: Драйвера слота отключен. 21.12.2013 0:08:23: Начало обработки поисковой фразы "купить лодочный мотор" из источника "Домен-Belarus (.by)" 21.12.2013 0:08:23: Отправка запроса - http://google.by/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 21.12.2013 0:08:45: Navigate: http://google.by/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 21.12.2013 0:08:48: Get function result: is_serp_page() 21.12.2013 0:08:48: Result: false 21.12.2013 0:08:48: Get function result: is_captcha_page() 21.12.2013 0:08:48: Result: false 21.12.2013 0:08:48: Get function result: is_ban_page() 21.12.2013 0:08:48: Result: true 21.12.2013 0:08:48: BAN Page 21.12.2013 0:08:48: Navigate: http://google.by/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 21.12.2013 0:08:49: Get function result: is_serp_page() 21.12.2013 0:08:49: Result: false 21.12.2013 0:08:49: Get function result: is_captcha_page() 21.12.2013 0:08:49: Result: false 21.12.2013 0:08:49: Get function result: is_ban_page() 21.12.2013 0:08:49: Result: true 21.12.2013 0:08:49: BAN Page 21.12.2013 0:08:49: Navigate: http://google.by/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C%20%D0%BB%D0%BE%D0%B4%D0%BE%D1%87%D0%BD%D1%8B%D0%B9%20%D0%BC%D0%BE%D1%82%D0%BE%D1%80&as_qdr=all 21.12.2013 0:08:51: Get function result: is_serp_page() 21.12.2013 0:08:51: Result: false 21.12.2013 0:08:51: Get function result: is_captcha_page() 21.12.2013 0:08:51: Result: false 21.12.2013 0:08:51: Get function result: is_ban_page() 21.12.2013 0:08:51: Result: true 21.12.2013 0:08:51: BAN Page
Название: Re: Google постоянно банит
Отправлено: byterus от 21 Декабрь 2013, 06:30:44: buto, попробуйте переустановить Internet Explorer.
Название: Re: Google постоянно банит
Отправлено: buto от 21 Декабрь 2013, 08:07:23: Какой версии?
Название: Re: Google постоянно банит
Отправлено: byterus от 21 Декабрь 2013, 08:31:57: buto, не меньше восьмерки, у Вас какая сейчас версия установлена?
Название: Re: Google постоянно банит
Отправлено: daemon от 25 Декабрь 2013, 16:46:37: У меня до сих пор банит.
Делал все как Вы говорили.
Присылал Вам в суппорт лог работы, как там результаты?

У меня IE 11.0.9600, Windows 8.1 Професиональная
Название: Re: Google постоянно банит
Отправлено: byterus от 25 Декабрь 2013, 17:11:04: daemon, можете попробовать на другой системе с того-же IP? Если другой софт не насилует гугл, то скорее всего что-то с настройками IE и на другой машине все должно работать.
Название: Re: Google постоянно банит
Отправлено: Александр от 21 Май 2014, 10:04:54: При парсинге с Гугла постоянные ошибки сети выдаёт и неизвестные страницы. Ну и баны вперемежку с этим.
Что делать?
Название: Re: Google постоянно банит
Отправлено: byterus от 21 Май 2014, 12:36:15: Александр, пришлите журнал работы любого блока с ошибками.
Название: Re: Google постоянно банит
Отправлено: Александр от 23 Май 2014, 09:47:34: Журнал во вложении. С Гуглом сегодня всё вроде бы нормально. Теперь беда с Яндексом
Название: Re: Google постоянно банит
Отправлено: byterus от 23 Май 2014, 10:29:59: Александр, в журнале проблем не увидел, обратитесь в поддержку(support@serpparser.ru) с подробностями пожалуйста.
Название: Re: Google постоянно банит
Отправлено: stas_d от 22 Август 2014, 14:15:06: У меня появилась та же проблема. После смены компа (и винды с 32 на 64) и переустановки программы не могу снять ни одил проект где больше 200 ключевиков. Снимал и снимаю всегда в один поток, стандартные задержки увеличил, в IE настройки куки поставил как на скрине. Что делать, а то в таком режиме снять позиции не реально. Спасибо за ответ.
Название: Re: Google постоянно банит
Отправлено: byterus от 22 Август 2014, 15:07:28: stas_d, пришлите в поддержку (support@serpparser.ru) журнал работы блока в котором произошел бан, постараюсь помочь.
Название: Re: Google постоянно банит
Отправлено: Yurez от 02 Август 2015, 17:30:03: Вот и меня стал Гугл сегодня банить. Конкретно. Куки включены. 2 потока.

п.с. с 13 года не нашли специалиста?)
Название: Re: Google постоянно банит
Отправлено: byterus от 02 Август 2015, 17:39:19: Yurez, та же просьба и к Вам, пришлите журнал работы в поддержку, только подождите когда гугл снимет бан с IP, иначе в журнале бан будет сразу.
Название: Re: Google постоянно банит
Отправлено: Yurez от 02 Август 2015, 17:51:34: А разве можно дождаться? Они, вроде, один за одним идут.
Название: Re: Google постоянно банит
Отправлено: byterus от 02 Август 2015, 18:56:48: Yurez, прервите процесс сейчас, и продолжите через несколько часов, в идеале через сутки. Сейчас пока можете переключиться на работу через прокси, без использования локального подключения.
Название: Re: Google постоянно банит
Отправлено: Yurez от 02 Август 2015, 19:01:04: Ладно, попробую завтра. Не умею то, что Вы в конце написали)
Название: Re: Google постоянно банит
Отправлено: Yurez от 04 Август 2015, 06:39:45: Вчера уже, правда, обошлось без бань. Может, то банили, потому что я сначала врубил 10 потоков?
Название: Re: Google постоянно банит
Отправлено: byterus от 04 Август 2015, 06:54:03: Yurez, да, возможно. Нужно подбирать оптимальное количество потоков для своих объемов. Прошу делиться статистикой. Я ежедневно снимаю с гугла несколько сотен страниц выдачи в 10 потоков, с локального подключения, блокировок пока нет.