Форум SERP Parser
Новости => Тестовые сборки => Тема начата: byterus от 11 Сентябрь 2014, 13:05:54
-
Всем привет!
Предлагаю к тесту сборку SERP Parser в которой есть возможность работать через браузерный движок Chromium.
Основные плюсы движка
- независимость от версии IE, AdWords будет работать на XP
- гораздо меньше капч, на движке IE гугл на многих компьютерах приходилось переключать в однопоточный режим. На движке Chromium гугл может работать с локального подключения в 10+ потоков не заваливая капчами.
- начиная с IE10 пропала возможность разделять Cookies между потоками, например, программа входит в аккаунт Google Adwords для определения частотности, соседний поток который снимает позиции с гугла так же оказывается в этом аккаунте:( В движке Chromium в каждом потоке свои Cookies.
- на движке IE яндекс на некоторых компьютерах не принимает регион переданный в URL параметром LR, и определяет регион по IP, естественно позиции снимаются неверно. На движке Chromium все работает правильно.
По умолчанию движок браузера Internet Explorer, переключиться на Chromium можно в настройках. Internet Explorer (Auto detect version) автоматически определит максимальную версию доступную на вашем компьютере, так же можно выбрать конкретную версию IE, например IE7 даже если на компьютере установлен IE11, программа будет делать запросы из под IE7.
(http://serpparser.ru/screenshots/chromium.png)
Для каждой ПС можно назначить свой движок браузера
(http://serpparser.ru/screenshots/se_browser_engine.png)
На новом движке работает все кроме Google Analytics, переключив движок на Chromium, GA продолжит работать на движке IE, скоро починю.
С ошибками и отзывами прошу писать в эту тему, при обращении в поддержку обязательно уточняйте что используете движок Chromium.
Тестовые сборки удалены, вышла новая версия
http://serpparser.ru/forum/index.php/topic,239.0.html
-
Обновил сборки. Теперь движок Chromium может работать через прокси и через прокси с авторизацией.
-
Когда выскакивает каптча, она начинает постоянно вводится, на каждом потоке.Открываю браузер, а он там вводит не то, что на картинке, возможно из другого потока.
-
MagRiv, на движке Internet Explorer такого не было? То что картинка другая - так и должно быть, не обращайте внимания.
-
На старой версии такого не было. Попробую на новой с движком IE
-
В IE все норм, каптча водится, происходит дальнейшая обработка страниц
-
MagRiv, у меня ровно наоборот, на IE постоянная капча, на Chromium вообще ни одной, но хорошо что сейчас есть выбор:)
-
отправил на почту журнал
-
Гоша привет, на новом движке много каптч.
Каптчи кстати на анг. языке :)
-
ATCnik, на английском в яндексе? это плюс:)
-
ATCnik, на английском в яндексе? это плюс:)
На Яндексе почти не было каптч ))) а вот на Google )))
Анг. каптчи были только на Google.
-
Обновил сборки из первого сообщения, теперь зависших процессов быть не должно. Перед установкой желательно перезагрузить компьютер, или убить зависшие процессы из диспетчера задач.
ATCnik, у гугла ведь и были только цифровые и английские капчи, разве нет?
-
Обновил сборки, теперь для каждой ПС можно назначить свой движок браузера
(http://serpparser.ru/screenshots/se_browser_engine.png)
-
Когда выскакивает каптча, она начинает постоянно вводится, на каждом потоке.Открываю браузер, а он там вводит не то, что на картинке, возможно из другого потока.
У меня такая же проблема, если установлен Chromium. На старой версии (которая stable) Google тоже постоянно банил, хотя капчи распознавались верно (смотрел по истории в сервиса распознавания капч - видимо на строй версии такая же проблема была.
PS стоит последняя версия, которая указана в этой ветке.
-
heha, в Google всегда капча вводилась не та что отображается в браузере, так и должно быть, при каждом запросе картинки гугл ее меняет, и если ввести ту что отображает браузер Google картинку не примет.
-
Скачал версию с поддержкой Chromium, и при парсинге позиций в яндексе почали сыпатся капчи (не зависимо от выбора движка), раньше при парсинге (по яндексу) не было капч вообще(
Сейчас ставлю 4+ потоков и от капч отбоя нету, нормально парсить можно только в 1 поток.
-
daemon,
Текущую 1.13 можно скачать с сайта
http://serpparser.ru/download.html
1.12 отсюда
Pro - http://www.serpparser.ru/files/old/serpparser_setup.exe
Base - http://www.serpparser.ru/files/old/serpparser_base_setup.exe
Lite - http://www.serpparser.ru/files/old/serpparser_lite_setup.exe
На какой версии капчи нет?
-
ATCnik, у гугла ведь и были только цифровые и английские капчи, разве нет?
[/quote]
Верно, но я имел ввиду, что при парсинге СНГ, возникают англоязычные каптчи. Мне то всё равно, какую каптчу вводят рабы, может просто тебе эта инфа будет важной :)
-
ATCnik, спасибо:)
-
daemon,
Текущую 1.13 можно скачать с сайта
http://serpparser.ru/download.html
1.12 отсюда
Pro - http://www.serpparser.ru/files/old/serpparser_setup.exe
Base - http://www.serpparser.ru/files/old/serpparser_base_setup.exe
Lite - http://www.serpparser.ru/files/old/serpparser_lite_setup.exe
На какой версии капчи нет?
На 1.2, та что старая.
-
daemon, спасибо. Вы пробовали оба движка в новой сборке и Chromium и IE, на обоих капчи в яндексе?
Обновил сборки в первом посте, в источник Google добавлен новый параметр Живой поиск, по умолчанию включен, на выдачу не влияет, но от его включения или выключения может зависеть количество капч, на каждом IP индивидуально, подобрать нужное значение можно только проведя эксперимент.
-
daemon, обновил сборки в первом сообщении, установите пожалуйста новую сборку и укажите в настройках (для яндекса или глобально) движок браузера Internet Explorer 7, это заставит работать программу так же как и в версии 1.12 на движке IE7. Капч стало меньше?
-
daemon, обновил сборки в первом сообщении, установите пожалуйста новую сборку и укажите в настройках (для яндекса или глобально) движок браузера Internet Explorer 7, это заставит работать программу так же как и в версии 1.12 на движке IE7. Капч стало меньше?
Да, с Яндексом все ок, каптч нету. А вот что делать с Google ?
-
daemon, попробуйте с гуглом разные движки в комбинациях с настройкой Живой поиск(это новая настройка в источнике гугла).
-
daemon, попробуйте с гуглом разные движки в комбинациях с настройкой Живой поиск(это новая настройка в источнике гугла).
А можете посоветовать с какого начать ?
или приблизительный ТОП-3
-
daemon, на моих компьютерах гугл работает на движке Chromium, с включенным(по умолчанию) живым поиском, капч нет. И яндекс тоже на Chromium работает без капч.
-
daemon, на моих компьютерах гугл работает на движке Chromium, с включенным(по умолчанию) живым поиском, капч нет. И яндекс тоже на Chromium работает без капч.
А сколько потоков? И сколько ключей парсите?
А что такое "Живой поиск" и как он влияет на количество капч ?
-
daemon, 10 потоков, ~500 страниц выдачи, ни одной капчи. Живой поиск
https://www.google.ru/preferences?hl=ru
почему от него зависит количество капч - вопрос к гуглу:)
-
daemon, 10 потоков, ~500 страниц выдачи, ни одной капчи. Живой поиск
https://www.google.ru/preferences?hl=ru
почему от него зависит количество капч - вопрос к гуглу:)
10 потоков. Успел только спарсить 16 запросов ( 10 страниц по 10 ) и повалились капчи. 60 штук и съем позиций завалился, капча за капчей ((
-
daemon, еще не уточнил, у меня на гугле задержки от 10000 до 15000 и паузы 30 секунд после 20 фраз.
-
daemon, еще не уточнил, у меня на гугле задержки от 10000 до 15000 и паузы 30 секунд после 20 фраз.
Поставил Chromium, задержки такие как у Вас, паузу 60 сек после 10 запросов.
Успел только спарсить 20 запросов по 5 страниц выдачи и капчи повалились http://prntscr.com/4qprbc и дальше сбор завалился и от капч отбоя нету(
Специально переустановил Windows на Win 7 чтобы лучше парсить, но до сих пор с Google проблемы(
-
daemon, попробуйте другие движки в сочетании с живым поиском. Если не поможет, то будем искать другие варианты.
-
в источник Google добавлен новый параметр Живой поиск, по умолчанию включен,
Не нашел этот параметр в настройках программы. Можно скрин, где он находится
-
MagRiv, картинка во вложении.
-
Обновил прогу из первого поста, параметра нет.
-
MagRiv, странно... Попробуйте удалить этот каталог
C:\Users\[ИМЯ ПОЛЬЗОВАТЕЛЯ]\Application Data\SERP Parser\engines
и установите программу заново, после инсталляции до запуска программы, этот каталог появился?