Форум SERP Parser

Новости => Тестовые сборки => Тема начата: byterus от 13 Декабрь 2016, 07:03:44

Название: Google BAN / ReCaptcha
Отправлено: byterus от 13 Декабрь 2016, 07:03:44
Google вводит ReCaptcha в поиск, сейчас новая капча появляется на малом количестве IP. Программа воспринимает ReCaptcha как блокировку (BAN).

Эта тестовая сборка позволяет работать с ReCaptcha, но пока только в ручном режиме. При запросе  ReCaptcha программа отобразит поверх всех окон окно браузера, в котором нужно разгадать капчу и нажать кнопку Отправить.

ОБНОВЛЕНО 20.12: добавил автоматический ввод рекапчи через Анти-Капча.

Ссылки на загрузку:
Pro - http://www.serpparser.ru/files/preview/serpparser_setup.exe
Base - http://www.serpparser.ru/files/preview/serpparser_base_setup.exe
Lite - http://www.serpparser.ru/files/preview/serpparser_lite_setup.exe

Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 14 Декабрь 2016, 15:42:22
Обновил сборки.
Название: Re: Google BAN / ReCaptcha
Отправлено: Tmen от 16 Декабрь 2016, 06:13:11
а как долго ожидать версию для отправки на распознание например рукаптча или антигейт?
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 16 Декабрь 2016, 14:30:08
Tmen, постараюсь в начале следующей недели закончить автоматизацию.
Название: Re: Google BAN / ReCaptcha
Отправлено: Tmen от 19 Декабрь 2016, 08:41:10
для anti-captcha.com
решение без прокси
 https://anticaptcha.atlassian.net/wiki/pages/viewpage.action?pageId=9666604
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 19 Декабрь 2016, 08:48:32
Tmen, спасибо, изучил на прошлой неделе:)
Название: Re: Google BAN / ReCaptcha
Отправлено: zheka от 19 Декабрь 2016, 14:29:59
может я чем помогу а то проблема большая нужно очень много снять
https://rucaptcha.com/newapi-recaptcha
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 19 Декабрь 2016, 15:10:40
zheka, спасибо, эта инструкция так же была изучена. Завтра/послезавтра будет автоматизация, сначала на антигейте, затем на рукапче.
Название: Re: Google BAN / ReCaptcha
Отправлено: Googlin от 19 Декабрь 2016, 17:56:32
очень жду обновления!
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 07:32:07
Сборки обновлены, добавил автоматический ввод рекапчи через Анти-Капча.
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 10:52:51
Обновил сборки, увеличил до шести минут таймаут разгадывания рекапчи в антигейт.
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 11:28:27
Обновил сборки, исправил ошибку "Сервис распознавания сообщает об ошибке(500 )", у кого была эта ошибка проверьте пожалуйста.
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 17:29:36
Добрый вечер.
Теперь уходит слишком много капч.
При разгадывании капчи вылетает ошибка: неизвестная страница. попытка повторного запроса.
И покругу капчи гоняет без снятия выдачи
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 17:35:03
stasstryukov, то же самое происходит и при ручном вводе рекапчи, гугл после ввода выдает 400 страницу.
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 17:43:22
Т.е. выхода из ситуации нет? Функционал программы не поддерживает теперь снятие выдачи с гугла?
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 18:08:04
stasstryukov, функционал программы тут ни при чем, при ручном вводе рекапчи программа никак не участвует, а 400 страница присутствует и при ручном вводе. Пришлите журнал работы в котором более трех раз подряд гугл запрашивает капчу, посмотрю в чем дело.
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 18:31:54
Хотел снять выдачу по гуглу в одном потоке, ошибка 500
Отчёт отправил в ЛС
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 18:41:04
stasstryukov, если версия программы 1702, то проблема скорее всего в том что запускается программа нестандартным ярлыком в котором не прописана рабочая директория, попробуйте запустить программу напрямую из Program Files\SERP Parser\
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 18:48:40
Версия 1.21.0.1702_162 Beta
Запустил из директории, 500-я ушла, сейчас пришлю лог по рекапче
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 19:05:07
Лог
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 20 Декабрь 2016, 19:15:34
stasstryukov, присылайте полный лог пожалуйста, в шапке важная информация. По логу, посмотрите на настройку для гугла Максимальное количество фраз в одном сеансе
http://serpparser.ru/screenshots/app_options_engines_add.png
чему она равна?

Завтра буду пробовать воспроизвести проблему.
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 20 Декабрь 2016, 19:29:11
10000
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 21 Декабрь 2016, 01:52:25
stasstryukov, спасибо, буду разбираться с проблемой.

При возникновении ошибки "ERROR_CAPTCHA_UNSOLVABLE Captcha could not be solved by 5 different workers" просто игнорируйте ее, антигейт пока не умеет разгадывать рекапчи в которых нужно обвести мышкой область на картинке.
Название: Re: Google BAN / ReCaptcha
Отправлено: Tmen от 21 Декабрь 2016, 08:24:59
Не понятно ситуация с резким увеличением капчей выдаваемых гуглом при том же кол-ве запросов что и до ввода рекапчи
к примеру было 30-50 капчей, а сейчас 400 рекапчей. Может программа по несколько раз засылает одну и ту же рекапчу?
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 21 Декабрь 2016, 08:42:25
Tmen, нет, одну и ту же капчу программа не отправляет. Гугл часто на ввод рекапчи выдает 400-тую страницу, это происходит как при автоматическом вводе, так и при вводе рекапчи вручную, после этого приходится разгадывать капчу еще раз.
Название: Re: Google BAN / ReCaptcha
Отправлено: stasstryukov от 21 Декабрь 2016, 12:58:48
stasstryukov, спасибо, буду разбираться с проблемой.

При возникновении ошибки "ERROR_CAPTCHA_UNSOLVABLE Captcha could not be solved by 5 different workers" просто игнорируйте ее, антигейт пока не умеет разгадывать рекапчи в которых нужно обвести мышкой область на картинке.


Пожалуйста  :)
Да, вчера понял про 400, когда вручную попытался разгадать. Мало того, что глючит это дело (нажимаешь на квадрат с нужным изображением, а он пропадает), так и 400 сыпятся 3 раза из 5
Борется гугл с сервисами антигейта чтоли таким образом, дабы разорять оптимизаторов
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 21 Декабрь 2016, 13:29:27
stasstryukov, будем надеяться что это глюки рекапчи, которые в скором времени исправят, а не вредительство со стороны гугла.
Название: Re: Google BAN / ReCaptcha
Отправлено: Александр от 28 Декабрь 2016, 12:39:59
У меня такая же проблема - Гугл отдаёт капчу где надо мышкой картинки выбирать. Даже вручную какие-то проблемы с этой постоянно.
Название: Re: Google BAN / ReCaptcha
Отправлено: seedgg от 31 Декабрь 2016, 14:58:58
Не возможно проверять позиции стало...с 200 ключевиков вводить нужно 400-600 капч, что в ручном режиме, что с помощью сервиса. 2-а из 3-х выдает 400 страницу. Потом может застопорится и постоянно выдавать 400 страницу потом бан. Возможно гугл по чем-то палит? Просьба обратить на это внимание.
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 31 Декабрь 2016, 15:52:56
seedgg, могу порекомендовать отключить многопоточность с одного IP для гугла, для этого отключите галочку Разрешить работу нескольких экземпляров в одном подключении
http://serpparser.ru/screenshots/app_options_engines.png
работать будет медленнее, но капчи будет появляться значительно реже.
Название: Re: Google BAN / ReCaptcha
Отправлено: seedgg от 02 Январь 2017, 10:59:00
Работает ли данная программа с Socks5 ????
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 02 Январь 2017, 11:02:28
seedgg, попробуйте перед IP адресом добавить "socks=" например socks=117.239.16.114
Название: Re: Google BAN / ReCaptcha
Отправлено: seedgg от 02 Январь 2017, 12:55:25
На счет 400 ошибки....немного полазив в интернете, есть несколько причин, почему выскакивает 400 ошибка - в 99% случаях это не правильные запросы которые шлются. Один из вариантов, что были найдены в нете - это перепутаны методы Post і Get. Или Ответ шлется в квадратных скобках, которые не нужны. Я не программист, вам виднее, но точно знаю что есть где-то ошибка, так как так не может быть, чтобы в 1 поточном режиме с задержкой от 7 до 15 секунд, вылазила капча через раз, и при ее разгадывании 2 раза из 3-х выдавало 400 ошибку. После 5 минутной такой работы идет сразу БАН. При работе с простого браузера, посылая запросы очень часто, капчи вообще нету, или есть, но очень редко. И если ее вводить, то 400 ошибки ни разу не было.
100% что есть какой-то баг...раньше 1000 запросов можно было парсить с 1 айпи в многопоточном режиме....капчу разгадываеш очень редко....про бан вообще можно забыть...а сейчас вообще нифига нельзя проверить + 2.2 у.е за 1000 штук такой капчи платить нужно - что 2\3 - это 400 ошибка....и я думаю, если этот баг убрать, о и капча будет очень редко появлятся.
Разбиритесь пожалуйста.
P.S Было бы не плохо сделать поддержку работы с Соксами 5, так как я по вашему методу проверял, через соксы оно вообще не работает. А так как сейчас Гугл использует хттпс протокол - рекомендуется использовать только соксы 5. Спасибо.
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 02 Январь 2017, 13:48:48
seedgg, 400 ошибка воспроизводится в Internet Explorer в режиме InPrivate, поведение такое же как и в программе. При ручном вводе капчи программа вообще участия не принимает, и в любом случае самостоятельно не оперирует POST\GET запросами.
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 02 Январь 2017, 14:11:03
seedgg,
Цитировать
После 5 минутной такой работы идет сразу БАН

пришлите пожалуйста журнал работы в поддержку после бана. Журнал работы можно открыть нажав на ссылку Показать журнал работы
http://serpparser.ru/screenshots/thread.png
Название: Re: Google BAN / ReCaptcha
Отправлено: seedgg от 02 Январь 2017, 21:02:56
Журнал отправил в личку
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 03 Январь 2017, 01:24:57
seedgg, попробуйте в настройках Google источника установить 10 результатов на странице(сейчас 100). Установите браузерный движок Internet Explorer
http://serpparser.ru/doc_options.html#browser_engines
Название: Re: Google BAN / ReCaptcha
Отправлено: maikl от 03 Январь 2017, 12:18:44
да, чет подкрутили. не снимает через 5 мин
Название: Re: Google BAN / ReCaptcha
Отправлено: byterus от 03 Январь 2017, 12:22:01
maikl, попробуйте новую версию
http://serpparser.ru/forum/index.php/topic,422.0.html