Автор Тема: Параллельное сканирование  (Прочитано 3373 раз)

JohnGonzo

  • Пользователь
  • **
  • Сообщений: 54
    • Просмотр профиля
    • Промышленный портал Мурманской области
Параллельное сканирование
« : 25 Сентябрь 2016, 18:37:32 »
В связи со значительным объемом ключевых запросов(порядка 25 000 - 30 000) программа обрабатывает их около суток. И у меня возникла идея параллельного сканирования выдачи на одном и на втором компьютерах с соответствующим разделением базы на две части. Я подобную штуку уже осуществлял: на одном компьютере работает программа, а на другом я изучаю сведения уже обработанной части.
По сути, это можно сделать, только как потом правильно объединить две базы?

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: Параллельное сканирование
« Ответ #1 : 26 Сентябрь 2016, 03:46:47 »
JohnGonzo, к сожалению, средствами программы объединить два проекта нельзя. Теоретически можно создать утилиту которая объединяет данные, если возьметесь ее создавать я подскажу что и как нужно делать.

JohnGonzo

  • Пользователь
  • **
  • Сообщений: 54
    • Просмотр профиля
    • Промышленный портал Мурманской области
Re: Параллельное сканирование
« Ответ #2 : 26 Сентябрь 2016, 08:08:27 »
JohnGonzo, к сожалению, средствами программы объединить два проекта нельзя. Теоретически можно создать утилиту которая объединяет данные, если возьметесь ее создавать я подскажу что и как нужно делать.
Я, сожалению, не программист и создать такое мне не под силу. Может быть кто-то другой возьмется. Подождем.
P.S.
А проблему продления сканирования на следующий день я решил только выставлением фильтра даты в открытой базе. Потом уже я брал нужный кусок данных и обновлял его из текущего источника. Вот теперь то я точно знаю, что обновляются только нужные мне данные, поскольку программа все равно ошибалась.
И еще вопрос - ввел новую графу  в базе данных - посещаемость страницы, а как ее установить не знаю. Прошу подсказать.

Тем не менее, спасибо за отличную прогу - другой альтернативы нет.

byterus

  • Администратор
  • Ветеран
  • *****
  • Сообщений: 1168
    • Просмотр профиля
Re: Параллельное сканирование
« Ответ #3 : 26 Сентябрь 2016, 09:42:08 »
JohnGonzo, я так и не смог понять в чем проблема продолжения сканирования, нужно создать тестовый проект, отсканировать до середины и продолжить сканирование, если возникли проблемы - пришлите проект мне. 

Цитировать
ввел новую графу  в базе данных - посещаемость страницы, а как ее установить не знаю
Вы создали атрибут?
http://serpparser.ru/doc_attributes.html
Атрибуты можно редактировать непосредственно в таблице отчета, либо в редакторе поисковой фразы.