Автор Тема: SERP Parser на браузерном движке Chromium  (Прочитано 27981 раз)

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #15 : 21 Сентябрь 2014, 11:25:56 »
Скачал версию с поддержкой Chromium, и при парсинге позиций в яндексе почали сыпатся  капчи (не зависимо от выбора движка), раньше при парсинге (по яндексу) не было капч вообще(
Сейчас ставлю 4+ потоков и от капч отбоя нету, нормально парсить можно только в 1 поток.

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #16 : 21 Сентябрь 2014, 12:26:21 »
daemon,

Текущую 1.13 можно скачать с сайта
http://serpparser.ru/download.html

1.12 отсюда
Pro - http://www.serpparser.ru/files/old/serpparser_setup.exe
Base - http://www.serpparser.ru/files/old/serpparser_base_setup.exe
Lite - http://www.serpparser.ru/files/old/serpparser_lite_setup.exe

На какой версии капчи нет?

ATCnik

  • Новичок
  • *
  • Сообщений: 15
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #17 : 22 Сентябрь 2014, 12:14:20 »
ATCnik, у гугла ведь и были только цифровые и английские капчи, разве нет?
[/quote]

Верно, но я имел ввиду, что при парсинге СНГ, возникают англоязычные каптчи. Мне то всё равно, какую каптчу вводят рабы, может просто тебе эта инфа будет важной :)

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #18 : 22 Сентябрь 2014, 13:28:09 »
ATCnik, спасибо:)

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #19 : 22 Сентябрь 2014, 16:29:33 »
daemon,

Текущую 1.13 можно скачать с сайта
http://serpparser.ru/download.html

1.12 отсюда
Pro - http://www.serpparser.ru/files/old/serpparser_setup.exe
Base - http://www.serpparser.ru/files/old/serpparser_base_setup.exe
Lite - http://www.serpparser.ru/files/old/serpparser_lite_setup.exe

На какой версии капчи нет?

На 1.2, та что старая.

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #20 : 23 Сентябрь 2014, 10:09:33 »
daemon, спасибо. Вы пробовали оба движка в новой сборке и Chromium и IE, на обоих капчи в яндексе?

Обновил сборки в первом посте, в источник Google добавлен новый параметр Живой поиск, по умолчанию включен, на выдачу не влияет, но от его включения или выключения может зависеть количество капч, на каждом IP индивидуально, подобрать нужное значение можно только проведя эксперимент.

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #21 : 23 Сентябрь 2014, 12:46:54 »
daemon, обновил сборки в первом сообщении, установите пожалуйста новую сборку и укажите в настройках (для яндекса или глобально) движок браузера Internet Explorer 7, это заставит работать программу так же как и в версии 1.12 на движке IE7. Капч стало меньше?

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #22 : 25 Сентябрь 2014, 21:09:47 »
daemon, обновил сборки в первом сообщении, установите пожалуйста новую сборку и укажите в настройках (для яндекса или глобально) движок браузера Internet Explorer 7, это заставит работать программу так же как и в версии 1.12 на движке IE7. Капч стало меньше?

Да, с Яндексом все ок, каптч нету. А вот что делать с Google ?

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #23 : 26 Сентябрь 2014, 06:34:48 »
daemon, попробуйте с гуглом разные движки в комбинациях с настройкой Живой поиск(это новая настройка в источнике гугла).

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #24 : 26 Сентябрь 2014, 06:55:33 »
daemon, попробуйте с гуглом разные движки в комбинациях с настройкой Живой поиск(это новая настройка в источнике гугла).

А можете посоветовать с какого начать ?
или приблизительный ТОП-3

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #25 : 26 Сентябрь 2014, 07:04:30 »
daemon, на моих компьютерах гугл работает на движке Chromium, с включенным(по умолчанию) живым поиском, капч нет. И яндекс тоже на Chromium работает без капч.
« Последнее редактирование: 26 Сентябрь 2014, 09:20:17 от byterus »

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #26 : 26 Сентябрь 2014, 13:22:41 »
daemon, на моих компьютерах гугл работает на движке Chromium, с включенным(по умолчанию) живым поиском, капч нет. И яндекс тоже на Chromium работает без капч.

А сколько потоков? И сколько ключей парсите?

А что такое "Живой поиск" и как он влияет на количество капч ?

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #27 : 26 Сентябрь 2014, 13:43:01 »
daemon, 10 потоков, ~500 страниц выдачи, ни одной капчи. Живой поиск
https://www.google.ru/preferences?hl=ru
почему от него зависит количество капч - вопрос к гуглу:)

daemon

  • Новичок
  • *
  • Сообщений: 35
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #28 : 26 Сентябрь 2014, 17:26:18 »
daemon, 10 потоков, ~500 страниц выдачи, ни одной капчи. Живой поиск
https://www.google.ru/preferences?hl=ru
почему от него зависит количество капч - вопрос к гуглу:)

10 потоков. Успел только спарсить 16 запросов ( 10 страниц по 10 ) и повалились капчи. 60 штук и съем позиций завалился, капча за капчей ((

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: SERP Parser на браузерном движке Chromium
« Ответ #29 : 26 Сентябрь 2014, 18:05:52 »
daemon, еще не уточнил, у меня на гугле задержки от 10000 до 15000 и паузы 30 секунд после 20 фраз.