1
Планы на будущее / Re: Динамическая загрузка прокси
« : 07 Июль 2015, 12:17:18 »
Вонана как!
Понятно, спасибо
Понятно, спасибо
Просмотр сообщений
В этом разделе можно просмотреть все сообщения, сделанные этим пользователем.
Страницы: [1]
2
Планы на будущее / Динамическая загрузка прокси
« : 07 Июль 2015, 12:03:40 »
Было бы здорово в новых релизах увидеть функцию автоматической загрузки прокси во время тестирования, как это реализовано у кей коллектор (пока правда в режиме тестирование, но вполне работает).
4
Ошибки / Проблема с подключением
« : 22 Июнь 2015, 12:02:25 »
Проблема в следующем:
для парсинга использую ssh-тунель на роутер, вот по такой схеме - http://habrahabr.ru/post/116214/
Соответственно, в SERP выставлены настройки локального подключения: https://yadi.sk/i/BSHB8pONhQ7Aw (localhost:5150).
После запуска парсинга тишина, и "Ошибка сети. Ожидание восстановления..."
В журнале:
"22.06.2015 16:52:17: SERP Parser Lite 1.18.0.1653_114
22.06.2015 16:52:17: Local connection through proxy
22.06.2015 16:52:17: Browser engine: Chromium
22.06.2015 16:52:17: Internet Explorer version 10.0.9200.17377
22.06.2015 16:52:17: Начало обработки поисковой фразы "фасадные кассеты" из источника "Домен-Russia (.ru), Язык интерфейса-Russian, Местоположение-Russian Federation, Регион-Russian Federation"
22.06.2015 16:52:17: Отправка запроса - http://google.ru/search?q=%D1%84%D0%B0%D1%81%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5%20%D0%BA%D0%B0%D1%81%D1%81%D0%B5%D1%82%D1%8B&ie=UTF-8&hl=ru&near=Russian%20Federation&gl=RU
22.06.2015 16:52:17: Browser engine ID: CH
22.06.2015 16:52:18: Navigate: http://google.ru/search?q=%D1%84%D0%B0%D1%81%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5%20%D0%BA%D0%B0%D1%81%D1%81%D0%B5%D1%82%D1%8B&ie=UTF-8&hl=ru&near=Russian%20Federation&gl=RU
22.06.2015 16:52:20: Get function result: is_serp_page()
22.06.2015 16:52:21: Result: false
22.06.2015 16:52:21: Get function result: is_captcha_page()
22.06.2015 16:52:22: Result: false
22.06.2015 16:52:22: Get function result: is_ban_page()
22.06.2015 16:52:23: Result: false
22.06.2015 16:52:23: Ошибка. Получена пустая страница." и т.д.
Очевидно, подключения не происходит.
И браузер, и Key Collector по такой схеме прекрасно работают: https://yadi.sk/i/tfBepQ4DhQ7r2
Единственное отличие, которое я нашёл, это отсутствие типа прокси сервера в SERP (в Коллекторе выставляется SOCKS 5).
В этом ли проблема и как это можно победить?
для парсинга использую ssh-тунель на роутер, вот по такой схеме - http://habrahabr.ru/post/116214/
Соответственно, в SERP выставлены настройки локального подключения: https://yadi.sk/i/BSHB8pONhQ7Aw (localhost:5150).
После запуска парсинга тишина, и "Ошибка сети. Ожидание восстановления..."
В журнале:
"22.06.2015 16:52:17: SERP Parser Lite 1.18.0.1653_114
22.06.2015 16:52:17: Local connection through proxy
22.06.2015 16:52:17: Browser engine: Chromium
22.06.2015 16:52:17: Internet Explorer version 10.0.9200.17377
22.06.2015 16:52:17: Начало обработки поисковой фразы "фасадные кассеты" из источника "Домен-Russia (.ru), Язык интерфейса-Russian, Местоположение-Russian Federation, Регион-Russian Federation"
22.06.2015 16:52:17: Отправка запроса - http://google.ru/search?q=%D1%84%D0%B0%D1%81%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5%20%D0%BA%D0%B0%D1%81%D1%81%D0%B5%D1%82%D1%8B&ie=UTF-8&hl=ru&near=Russian%20Federation&gl=RU
22.06.2015 16:52:17: Browser engine ID: CH
22.06.2015 16:52:18: Navigate: http://google.ru/search?q=%D1%84%D0%B0%D1%81%D0%B0%D0%B4%D0%BD%D1%8B%D0%B5%20%D0%BA%D0%B0%D1%81%D1%81%D0%B5%D1%82%D1%8B&ie=UTF-8&hl=ru&near=Russian%20Federation&gl=RU
22.06.2015 16:52:20: Get function result: is_serp_page()
22.06.2015 16:52:21: Result: false
22.06.2015 16:52:21: Get function result: is_captcha_page()
22.06.2015 16:52:22: Result: false
22.06.2015 16:52:22: Get function result: is_ban_page()
22.06.2015 16:52:23: Result: false
22.06.2015 16:52:23: Ошибка. Получена пустая страница." и т.д.
Очевидно, подключения не происходит.
И браузер, и Key Collector по такой схеме прекрасно работают: https://yadi.sk/i/tfBepQ4DhQ7r2
Единственное отличие, которое я нашёл, это отсутствие типа прокси сервера в SERP (в Коллекторе выставляется SOCKS 5).
В этом ли проблема и как это можно победить?
Страницы: [1]