В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

832 membersпожаловаться на группу
2021 February 06

К

Кирилл in Scrapy
Ну конечно оно быстрее будет, если друг друга не будет стопорить, если ты рядом с запросами обрабатываешь html, то запросы будут ждать парсинг и наоборот соответсвенно
источник
16:15пожаловаться#1

МС

Михаил Синегубов... in Scrapy
Victor
Ну а чем html дерево парсить - удалить скрипты, айфреймы, счетчики и некоторые тэги? Не регулярками же
А может сам скрапи с этим справится?
источник
16:15пожаловаться#2

К

Кирилл in Scrapy
У тебя так много там данных, что нужно оптимизировать скорость?
источник
16:15пожаловаться#3

V

Victor in Scrapy
12 млн страниц
источник
16:16пожаловаться#4

V

Victor in Scrapy
если странички обрабатывать получается - 200к в день парсит. Если просто сохранять в БД - 2 млн в день.
источник
16:17пожаловаться#5

К

Кирилл in Scrapy
Ну, тебе просто нужно разделить работу с сетью и манипуляции с html, что ты частично и сделал
источник
16:17пожаловаться#6

К

Кирилл in Scrapy
Там можно всякие подпроцессы делать и очереди с воркерами, это уже насколько хорошо ты хочешь это оптимизировать
источник
16:18пожаловаться#7

V

Victor in Scrapy
Ну я не думал что обработка html настолько медленная...
источник
16:18пожаловаться#8

V

Victor in Scrapy
мне кажется сеть забъет все эти воркеры и память в итоге кончится
источник
16:19пожаловаться#9

К

Кирилл in Scrapy
От  многих факторов зависит, вполне могло быть так, что ты высталяешь большие паузы, что обойти бан, или у тебя плохой интернет и оно бы успевало html резать без тормозов
источник
16:20пожаловаться#10

МС

Михаил Синегубов... in Scrapy
Victor
если странички обрабатывать получается - 200к в день парсит. Если просто сохранять в БД - 2 млн в день.
Чет ппц как медленно😕.
Обычно такое из-за сети или сайта...
источник
16:21пожаловаться#11

К

Кирилл in Scrapy
Victor
мне кажется сеть забъет все эти воркеры и память в итоге кончится
Воркеры для обработки html, они не завсят от сети, а просто берут, что скачал скрапи
источник
16:21пожаловаться#12

A

Andrii in Scrapy
источник
16:32пожаловаться#13

V

Victor in Scrapy
Кирилл
Воркеры для обработки html, они не завсят от сети, а просто берут, что скачал скрапи
А как воркеры в скрапи называются? В документации про них нет ничего...
источник
16:33пожаловаться#14

A

Andrii in Scrapy
Как можно сделать итерацию только по етих li в БС4?) 
li_results = self._html.find(id="b_results").find_all('li')
, но оно берет и вложение li
источник
16:33пожаловаться#15

К

Кирилл in Scrapy
Victor
А как воркеры в скрапи называются? В документации про них нет ничего...
Никак, это не связано с скрапи. Можешь посмотреть на rabbitmq или celery
источник
16:34пожаловаться#16

V

Victor in Scrapy
Кирилл
Никак, это не связано с скрапи. Можешь посмотреть на rabbitmq или celery
Спс
источник
16:36пожаловаться#17

AP

Alex Python in Scrapy
никогда бы не подумал что scrapy можно и в телефоне юзать)
источник
17:15пожаловаться#18

AP

Alex Python in Scrapy
источник
17:15пожаловаться#19

AP

Alex Python in Scrapy
жуть )
источник
17:15пожаловаться#20