AR
Size: a a a
2020 January 14
B
я правильно понял, при закрытии паука, у него все 10 словарей? и можно раскурить эту тему и забрать все результаты?
да, можно. В плане эфективности можнт и не очень, но можно в переменной класса держать и оттуда доставать на закрытии спайдера.
E
Тикет-то открыт, я думал вообще не сохраняет, если есть другая инфа написать бы
Ну там же Михаил написал, что все упирается в обычный питоновский dict. Начиная с 3.6 он сохраняет порядок элементов.
AR
а, я не так понял
JW
Хоть, может, и поздно
как раз Feed export fields и решает эту проблему. Скрави наименовнаие и кол-во полей берет по первому экпортнутому айтему, если имена полей не заданы принудительно. А вот, если заданыпринудительно - то ему насрать что у тебя в айтеме, он смотрит, в перую очередь, на настройки
как раз Feed export fields и решает эту проблему. Скрави наименовнаие и кол-во полей берет по первому экпортнутому айтему, если имена полей не заданы принудительно. А вот, если заданыпринудительно - то ему насрать что у тебя в айтеме, он смотрит, в перую очередь, на настройки
Если не задан, берет из 1го айтема ок, но проблема в том что 1й айтем короткий, и обрезает дату других строк. А указать заранее имена експорт филдс нельзя, ибо они из самого айтема и формируются. Буду spider_closed гуглить.
МС
Если не задан, берет из 1го айтема ок, но проблема в том что 1й айтем короткий, и обрезает дату других строк. А указать заранее имена експорт филдс нельзя, ибо они из самого айтема и формируются. Буду spider_closed гуглить.
блин, да задай просто параметр FEED_EXPORT_FIELDS, или обязательно надо костылить?
я же сказал, если ты задашь поля в FEED_EXPORT_FIELDS то, даже если ни разу эти поля не передашь в айтемах - то они будут в результирующем файле
я же сказал, если ты задашь поля в FEED_EXPORT_FIELDS то, даже если ни разу эти поля не передашь в айтемах - то они будут в результирующем файле
МС
я же написал "Скрапи наименовнаие и кол-во полей берет по первому экпортнутому айтему, ЕСЛИ ИМЕНА ПОЛЕЙ НЕ ЗАДАНЫ ПРИНУДИТЕЛЬНО"
МС
A list of fields to export, optional. Example: FEED_EXPORT_FIELDS = ["foo", "bar", "baz"].
МС
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/extensions/feedexport.py#L214
запрашивается список полей из настроек (если задан)
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/extensions/feedexport.py#L234
вызываются экспортеры, передается список полей (если задан)
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/exporters.py#L238
прописываются заголовки экспорта, если НЕ ЗАДАНЫ поля, то они берутся из первого айтем (эта процедура вызывается когда надо записать заголовок), если они заданы - то они и пропищутся, те, что заданы
запрашивается список полей из настроек (если задан)
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/extensions/feedexport.py#L234
вызываются экспортеры, передается список полей (если задан)
https://github.com/scrapy/scrapy/blob/ce618fb6f234a854ae3b2a14a8a4e488539999bb/scrapy/exporters.py#L238
прописываются заголовки экспорта, если НЕ ЗАДАНЫ поля, то они берутся из первого айтем (эта процедура вызывается когда надо записать заголовок), если они заданы - то они и пропищутся, те, что заданы
МС
блин, 99,9% всех либ питона открыты (точнее, я не встречал пока бинарников), если что - лезешь в сырцы и смотришь "а какого хера не хочет делать как я хочу" :).
МС
а вообще, я сегодня злой и не выспамшийся🙃
C
блин, 99,9% всех либ питона открыты (точнее, я не встречал пока бинарников), если что - лезешь в сырцы и смотришь "а какого хера не хочет делать как я хочу" :).
Помоему в любрм языке библиотеки это не бинарники
МС
Ты с делфями не работал...
C
Даже на c# библиотеки как nuget так и левые это вмегда исходники
C
Тоже самое rust
C
Ты с делфями не работал...
Неработал
C
Ты с делфями не работал...
Он умер
МС
Кстати, как раз в интерпретируемых языках любую лтбу можно в бинарник обернуть.
То что он умер я слышу последние лет 20
То что он умер я слышу последние лет 20
C
Кстати, как раз в интерпретируемых языках любую лтбу можно в бинарник обернуть.
То что он умер я слышу последние лет 20
То что он умер я слышу последние лет 20
Можно, но так никто не делает