V
with open
Size: a a a
2020 January 28
МС
в самом пауке файлы открываешь и пишешь?
V
в пайплайне
AR
и какой код жрёт проц? на каждый итем открытие и закрытие файла?
V
да, на каждый итем
МС
Viktor
да, на каждый итем
ипануться 😕😳, простите за матюки....
у тебя винт на первой космической работает
у тебя винт на первой космической работает
МС
https://stackoverflow.com/questions/23868784/separate-output-file-for-every-url-given-in-start-urls-list-of-spider-in-scrapy
недавно бросал ссыль, но может и тебе пригодится
недавно бросал ссыль, но может и тебе пригодится
МС
как ты думаешь, что быстрее
1. один раз открыть и писать, в конце закрыть
2. каждый раз : открыть, считать, добавить, записать, закрыть
во втором случае даже просто перечислять пункты долго :)
1. один раз открыть и писать, в конце закрыть
2. каждый раз : открыть, считать, добавить, записать, закрыть
во втором случае даже просто перечислять пункты долго :)
V
ну он же не считывает, создает файл, записывает все итемсы с этого урла и закрывает
V
но согласен что это костыли
МС
ты, в первую очедь, реши для себя - действительно ли нужно тебе писать в разные файлы.
V
ну можно разбить по 5000 записей например, но пока ковыряюсь с этим решением)
МС
и да, насколько я понял, у дефолтных экпортеров отложенная запись, но это не точно
AR
синкнуть и закрыть файл это довольно дорого
AR
Viktor
ну можно разбить по 5000 записей например, но пока ковыряюсь с этим решением)
всё ещё непонятно зачем
МС
Viktor
ну можно разбить по 5000 записей например, но пока ковыряюсь с этим решением)
нафига? оно и пару млн. нормально запишет, и питон такое прочитает...
V
одна запись может занимать 10 мб, а таких 40 млн(
МС
40 млн... а ты уверен что тебе файлы нужны. а не база?
AR
и что точно нужно 10мб каких-то текстовых данных с одной страницы сайта
V
ну в идеале наверно с базой работать, но к этому я еще ползу)