EB
что такое 111?
Size: a a a
2019 October 31
EB
errback не ловит?EB
EB
где-то тут искать нужно
К
имхо, не нужно из скрапи сохранять в бд, при маломальских(потоков 5-10) объемах это все загнется….
А куда советуешь сохранять?
EB
а файл или очередь
EB
ну можно в пайплайне в бд, но чанками
К
а файл или очередь
А если неделями работает парсер? какой файл тут справится, с таким объемом
EB
из коробки можно на файлы делить
EB
если не ошибаюсь
МС
ну можно в пайплайне в бд, но чанками
тю, я уж думал ты в принципе не советуешь в базу писать... 😆
EB
зачем только работать неделями?)
EB
Запись файла будет быстрее записи в бд?
смотря как писать)
К
зачем только работать неделями?)
Относительно маленькая скорость и большой объем данных
EB
можно что-то типа scrapy-redis посмотреть
EB
тю, я уж думал ты в принципе не советуешь в базу писать... 😆
да можно где угодно писать, нужно же понимать что и как происходит, если копипастить со стаковерфло, то все быстро загнется