Сообщения

1

Работа с программой / Re: Как увеличить скорость съема позиций?

« : 05 Август 2016, 10:03:41 »

Журнал и места в которых происходят основные задержки указаны в первом сообщении. Там 4 случая. Можете прокомментировать по каждому откуда берется задержка?

2

Работа с программой / Re: Как увеличить скорость съема позиций?

« : 05 Август 2016, 08:23:28 »

Поток перезапускается после каждого запроса страницы и перезапуск занимает 30 секунд? Вы уверены, что это необходимо? По-моему это какой-то баг в программе.

3

Работа с программой / Re: Как увеличить скорость съема позиций?

« : 22 Июль 2016, 11:09:25 »

IP не меняется. Задержка появляется после повторного запроса из-за получения сообщения "Неизвестная страница".

4

Работа с программой / Re: Как увеличить скорость съема позиций?

« : 21 Июль 2016, 11:53:44 »

Задержка после "Отправка запроса" появляется только в многопоточном режиме, значит она не зависит от качества прокси. С чем она связана?

5

Работа с программой / Re: Как увеличить скорость съема позиций?

« : 21 Июль 2016, 10:57:55 »

Откуда такие ограничения на потоки? Когда запускаю 100 потоков, 4 ядерный процессор загружен только на 50%. И памяти свободной еще 8 Гб.
Как оптимизировать скорость работы на публичных серверах? Можно ли как-то пропускать медленные сервера?

6

Работа с программой / Как увеличить скорость съема позиций?

« : 21 Июль 2016, 10:26:41 »

Как увеличить скорость съема позиций?
Посмотрел журналы:
1 поток, публичный прокси:
https://yadi.sk/d/zdEd2oF8tVcit
100 потоков, публичные прокси:
https://yadi.sk/d/mGjs5Ad3tVckJ

Разница во времени между сообщениями порой составляет более 20 сек.

В однопоточном режиме задержки идут в основном после сообщения Navigate, но есть и другие случаи:
21.07.2016 11:54:19: Navigate: http://yandex.ru/search/customize?retpath=http%3A%2F%2Fwww.yandex.ru
21.07.2016 11:54:54: Get function result: is_setup_page()

21.07.2016 11:55:10: Navigate: http://yandex.ru/search/customize?retpath=http%3A%2F%2Fwww.yandex.ru
21.07.2016 11:55:33: Get function result: is_setup_page()

21.07.2016 11:52:42: Result: true
21.07.2016 11:53:19: Настройка подключения завершена

В многопоточном режиме появляются зависания после "Отправка запроса"
21.07.2016 12:04:50: Отправка запроса - http://yandex.ru/search/?text=air%20fi&numdoc=50&lang=ru&rstr=-213&lr=213
21.07.2016 12:05:39: Browser engine ID: IE

С чем это связано и как увеличить скорость работы?