Форум SERP Parser
Основной раздел => Работа с программой => Тема начата: fatseo от 26 Июль 2012, 13:10:50
-
Привет.
Недавно пользуюсь SERP Parser-ом - возник вопрос по использованию прокси.
Создал прокси-лист в настройках (3 ip-адреса с авторизацией в формате ip:port:user:password), поставил галочку чтобы его использовать.
Локальный IP-адрес мне использовать не нужно, поэтому убрал соответствующую опцию.
Однако при запуске парсера там где прокси написано:
Найдено: 0 / 3
Запрошено: 3
Состояние: остановлен
Что это означает? И как понять используются мои прокси или нет?
-
fatseo,
Найдено: [сколько есть свободных прошедших проверок прокси] / [сколько прокси было задано в настройках]
Запрошено: [сколько прокси было запрошено в работу]
Прокси используются, все три.
-
Спасибо.
А как тогда понять тот факт, что через некоторое время работы программы я не могу с ЛОКАЛЬНОГО ip сделать поиск в Гугле - выскакивает капча. Т.е. все-таки какие-то запросы проходят с моего локального адреса, даже если галочка убрана? По идее если используются только прокси - капчу мне выдавать гугл не должен (т.к. локальный ip не должен использоваться)
-
fatseo, если галочка использования локального IP снята, то программа не делает никаких запросов к поисковым системам через локальный IP. Может быть прокси не анонимные или кто-то еще из Вашей сети использует аналогичный софт?
-
Галочка стоит. Чтобы разговор был более конструктивный прилагаю скриншоты.
Использование из моей сети аналогичного софта - исключено.
А вот на счет анонимности прокси - честно говоря не знаю, это мои собственные прокси-сервера настроенные на моих dedicated-серверах, доступа к ним ни у кого кроме меня нет.
Анонимность вот здесь попробовал проверить - http://spys.ru/check/ , пишет высокоанонимный, но не знаю насколько это правдоподобно.
-
fatseo, с такими настройками программа не обращается к ПС через локальный IP.
-
Здравствуйте, скачал программу для тестового ознакомления
столкнулся с аналогичной проблемой как у ТС, все настройки точно такие же
проблема в том что парсер вроде как парсит, но все равно получаю Бан о Гугла на локальном компьютере, как же так ???, выходит что часть запросов все равно идет с моего локального IP? или вообще все ?
у меня 1400 ключей
ПС google.com.ua
+ Google AdWords
Кроме того прописывал прокси даже в настройках: "Настройки локального подключения - Использовать прокси" и все равно получаю Бан от ПС
-
roterq, есть такая проблема, решения пока нет:( Программа не производит запросов к ПС через локальное подключение, как гугл узнает про локальный IP - непонятно. Программа работает через прокси, если бы это было не так, то как бы она собирала данные с заблокированным подключением?
Попробуйте следующее:
1. Установите задержки для гугла 4000 - 4500.
2. Установите паузы между блоками фраз, 30 секунд после 50 фраз.
Скачайте последнюю сборку
Pro - http://www.serpparser.ru/files/preview/serpparser_setup.exe
Base - http://www.serpparser.ru/files/preview/serpparser_base_setup.exe
-
в общем у меня еще есть ВПН, попробую парсить через него с задержками что вы указали ...
-
Подскажите с какими типами прокси работает программа.
По теме, для того что бы гугл не палил ip нужны соксы4/5.
-
Frostmaind, программа работает с HTTP прокси. По соксам можно подробнее, почему только они?
-
Протокол сокс прокси так устроен что он для вебсервера является клиентом.
http://ru.wikipedia.org/wiki/Классификация_прокси-серверов
И вобще гугл очень не любит когда с ним работают через анонимный прокси, а он это видит.
По той же HTTP_PRAGMA
-
Frostmaind, есть пользователи которые работают через TOR, для этого нужно установить прокси локального подключения. Чтобы использовать SOCKS в качестве прокси локального подключения, нужно перед IP адресом добавить socks=, например socks=127.0.0.1.
-
как гугл узнает про локальный IP - непонятно.
Здравствуйте. :) Есть ли какие-то подвижки в решении этой проблемы? ??? :-\
-
Finder, к сожалению, пока нет:(
-
Подскажите каким образом программа работает со списком прокси листов, т.е если я задаю урл списка прокси?
Интересует программа запрашивает список прокси по урл только 1 раз при старте или может обновлять (скажем когда прокси заканчиваются или не работают)? Т.к у меня список прокси меняется через время по ссылке, ссылка постоянная, формат прокси по ссылке ip:port
-
animal, в тестовой сборке (PRO)
http://www.serpparser.ru/files/preview/serpparser_setup.exe
программа начинает заново сканировать список прокси при их завершении.
-
Обновился, все хорошо работает, спасибо!
Еще такой вопрос я работаю в связке OpenVPN + обновляемый список прокси.
В настройках установлено что использовать и локальный и прокси, т.е VPN + прокси. На сколько я понял при запуске парсер сначала использует только локальное подключение (пока не забанят), затем только подключает прокси. В процессе проверки я могу менять сервер для VPN и IP адрес соответственно, но парсер использует только прокси до окончания проверки. Возможно это как то исправить или что бы он проверял доступность локального подключения через время?
-
animal, скоро будет реализована реакция на бан IP, в качестве обхода будет возможность указать задержку либо смену IP, настраиваться будет отдельно для локального и для прокси подключений. Смена IP для локального подключения будет реализована как запуск команды операционной системы (например батник или программа).
-
Посоветуйте, пожалуйста, где лучше прикупить прокси-листы?
-
kstg, я прокси не покупаю, посоветовать ничего не могу. Вот реклама FineProxy
http://www.youtube.com/watch?v=fJz2maNYn2g
-
Я снимал) Все верно, прокси подходят для парсинга и дешевые в своем сегменте ;)
-
Пользуюсь сервисом hideme.ru: впн (на выбор много стран), плюс всегда свежий прокси лист с фильтрами. Если покупаете подписку на год то можно получать список свежих прокси по запросу, через API. И добавить такой урл в парсер, он будет подгружать прокси по мере бана.
-
Пользуюсь также hideme.ru. Не могли бы подсказать, где именно взять урл на api и куда добавлять в парсере?
Заранее спасибо.
Пользуюсь сервисом hideme.ru: впн (на выбор много стран), плюс всегда свежий прокси лист с фильтрами. Если покупаете подписку на год то можно получать список свежих прокси по запросу, через API. И добавить такой урл в парсер, он будет подгружать прокси по мере бана.
-
Добавлять в настройки программы, вкладка "Прокси". Кнопка внизу "Добавить список Прокси листов". И туда вставляете урл.
Формат урла кинул в личку
-
Спасибо! протестирую hideme.ru
А hidemyass.com пробовал кто-нибудь? Там есть такой же функционал о котором пишет animal?
-
Посмотрел сайт hidemyass.com, такое ощущение что это таже контора ))
Только хайдми дешевле. Ели пользуетесь hidemyass могу кинуть формат API потестиш, может подойдет
-
уточните еще раз: Программа работает с sock4 прокси? Если да, то как использовать? Как обычные http или нет?
-
inopasha, пока есть только такая возможность использовать SOCKS прокси:
Перед IP адресом добавить "socks=" например socks=117.239.16.114