В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2020 January 13

AR

Andrey Rahmatullin in Scrapy
да
источник
16:17пожаловаться#1

ᅠ

ᅠ in Scrapy
Можно ли записывать данные которые парсю в csv файл в лайв режиме парсинга в функции parse? Не будет такого момента что одновременно файл откроется и будет потеря данных?
источник
19:52пожаловаться#2

iz

izzz zzi in Scrapy
ᅠ
Можно ли записывать данные которые парсю в csv файл в лайв режиме парсинга в функции parse? Не будет такого момента что одновременно файл откроется и будет потеря данных?
Он же пишет в 1 поток если через пайп
источник
19:52пожаловаться#3

iz

izzz zzi in Scrapy
Если через parse тогда может быть проблемно
источник
19:53пожаловаться#4

AR

Andrey Rahmatullin in Scrapy
держать хендл файла в объекте спайдера
источник
20:04пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
но вообще пайплайны делают то же самое, но проще
источник
20:04пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
всмысле экспортеры
источник
20:04пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
и в файл пишут уже полностью прошедшее все пайплайны, а в коллбэке данные до пайплайнов
источник
20:05пожаловаться#8

iz

izzz zzi in Scrapy
Andrey Rahmatullin
и в файл пишут уже полностью прошедшее все пайплайны, а в коллбэке данные до пайплайнов
Ну в пайпе он же в 1 поток пишет , а колобэк будет в несколько ?
источник
20:10пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
izzz zzi
Ну в пайпе он же в 1 поток пишет , а колобэк будет в несколько ?
скрапи однопоточен.
источник
20:11пожаловаться#10

iz

izzz zzi in Scrapy
Andrey Rahmatullin
скрапи однопоточен.
Асинхронно *
источник
20:11пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
и в чём разница?
источник
20:11пожаловаться#12

AR

Andrey Rahmatullin in Scrapy
пайплайн тоже не синхронно все итемы в файл запишет
источник
20:12пожаловаться#13

AR

Andrey Rahmatullin in Scrapy
*экспортер
источник
20:12пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
ну или пайплайн, если вдруг написать такой пайплайн
источник
20:12пожаловаться#15

iz

izzz zzi in Scrapy
Andrey Rahmatullin
пайплайн тоже не синхронно все итемы в файл запишет
Пайп понятно , а если в самом пауке писать ф-цию записи в файл
источник
20:13пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
то?
источник
20:13пожаловаться#17

iz

izzz zzi in Scrapy
Ну в этом был вопрос , если в самом пауке писать , потеря данных будет или нет
источник
20:14пожаловаться#18

AR

Andrey Rahmatullin in Scrapy
а я спросил, в чём разница между писать в пауке и писать в пайплайне
источник
20:14пожаловаться#19

iz

izzz zzi in Scrapy
Andrey Rahmatullin
а я спросил, в чём разница между писать в пауке и писать в пайплайне
Ну я думаю что в пайпе пишет пройденные и собранные айтемы синхронно , а в коллбэки асинхронно и может быть потеря данных
источник
20:16пожаловаться#20