Телеграмм чат группы scrapy

Size: a a a

Scrapy

380 membersпожаловаться на группу

2019 December 20

Roma in Scrapy

))) Я бы тогда все сначала экспортнул в csv -а потом уже мудохался из csv по страницам

источник

23:13пожаловаться #1

Мак in Scrapy

Andrey Rahmatullin

тогда что значит "не рекомендуют вообще с икселем морочиться" если клиент просит

Потому и спрашиваю, ибо не сталкивался.... Может кто делал

источник

23:13пожаловаться #2

Andrey Rahmatullin in Scrapy

csv поточный, а xlsx нет, это уже важно

источник

23:14пожаловаться #3

Andrey Rahmatullin in Scrapy

впрочем если уж делать промежуточный формат, то jl

источник

23:15пожаловаться #4

Andrey Rahmatullin in Scrapy

csv всё-таки более ограниченный

источник

23:15пожаловаться #5

Andrey Rahmatullin in Scrapy

и скриптом потом собирать xlsx за один проход

источник

23:15пожаловаться #6

Andrey Rahmatullin in Scrapy

но если объёмы маленькие, то можно наверно прямо в пайплайне писать xlsx, типа там в объекте пайплайна держать хендл

источник

23:15пожаловаться #7

Мак in Scrapy

Andrey Rahmatullin

csv поточный, а xlsx нет, это уже важно

Там инструмент нужен, а не разовый результат. Если разовый - вручную б скомпоновал csv

источник

23:15пожаловаться #8

Andrey Rahmatullin in Scrapy

я пишу с учётом этого, конечно

источник

23:16пожаловаться #9

Andrey Rahmatullin in Scrapy

скрипт постпроцессинга в принципе рабочее решение, хоть и костыль

источник

23:16пожаловаться #10

Andrey Rahmatullin in Scrapy

и иногда обязательное

источник

23:16пожаловаться #11

Andrey Rahmatullin in Scrapy

типа если из нескольких джобов надо собрать один файл

источник

23:17пожаловаться #12

Мак in Scrapy

Ну то есть рекомендуете собрать в csv со скрапи, а потом уже другим скриптом в xls собрать

источник

23:17пожаловаться #13

Roma in Scrapy

Мак

Ну то есть рекомендуете собрать в csv со скрапи, а потом уже другим скриптом в xls собрать

У меня такой задачи не было - но я б ее именно так и делал

источник

23:18пожаловаться #14

Мак in Scrapy

Andrey Rahmatullin

скрипт постпроцессинга в принципе рабочее решение, хоть и костыль

Мне кажется нормальный ход, который не мешает работе фреймворка

источник

23:19пожаловаться #15

Мак in Scrapy

Roma

У меня такой задачи не было - но я б ее именно так и делал

Тоже так думаю

источник

23:19пожаловаться #16

Andrey Rahmatullin in Scrapy

Мак

Мне кажется нормальный ход, который не мешает работе фреймворка

Главное придумать, как его запускать и когда

источник

23:21пожаловаться #17

Мак in Scrapy

Andrey Rahmatullin

Главное придумать, как его запускать и когда

Ну да, при больших объёмах тут подумать надо...

источник

23:23пожаловаться #18

2019 December 21

Evgen in Scrapy

@wrar42 прям привнес активности в наш скучный чатик)

источник

00:07пожаловаться #19

Bulatbulat48 in Scrapy

Evgen

@wrar42 прям привнес активности в наш скучный чатик)

Ага, круто 👍

источник

02:05пожаловаться #20