Телеграмм чат группы scrapy

Потом да. Я не знаю какие из данных ещё после первичных понадобятся - а их много очень. Хотел сохранить всё, а потом уже добывать если надо будет чтобы не обходить по новой, ну и если надо изменения собрать - то не тянуть что не изменилось. Хотя по хешу страницы такое себе сравниваться

источник

15:16пожаловаться #4

Кирилл in Scrapy

Включи кэш, он делает то, что тебе нужно

источник

15:18пожаловаться #5

izzz zzi in Scrapy

Кирилл

Включи кэш, он делает то, что тебе нужно

да как вариант кстати

источник

15:19пожаловаться #6

izzz zzi in Scrapy

он же там в sql кидает вроде

источник

15:19пожаловаться #7

Кирилл in Scrapy

Нет, тот что из коробки в файлы сохраняет

Но я видел плагины

Или DBM, но я хз что это

источник

15:21пожаловаться #10

Andrey Rahmatullin in Scrapy

в кафку ещё некоторые складывают

источник

15:26пожаловаться #11

Nikolay in Scrapy

Кеш. Хм проверим. Ок благодарю

источник

16:26пожаловаться #12

izzz zzi in Scrapy

На сколько Scrapy быстрый?
Проверка N страниц.

requests в один поток - бесконечное время
scrapy из локальной машины - 30 минут
scrapinghub с включенным по дефолту тротлингом - больше 1 часа
scrapinghub без троттлинга 1 юнит - 23 минуты
scrapinghub без троттлинга 3 юнита - 15 минут

что это значит? сколько читаю , не понимаю)

источник

22:22пожаловаться #13

Кирилл in Scrapy

Что не понятно?

источник

22:22пожаловаться #14

izzz zzi in Scrapy

проверка N страниц , requests бесконечность , scrapy локально - 30 мин

источник

22:24пожаловаться #15

АП