AR
FEED_URI, тем не менее, читается один раз, при создании scrapy.extensions.feedexport.FeedExporter
:)
Size: a a a
2020 January 27
AR
можно, но не поможет
AR
раннер же включает в себя всю машинерию с миддлварями и прочим, если надо поменять что-то, что только при инициализации задаётся, то только пересоздавать
:)
МС
эм, а вот так низзя?
class SomeSpider(scrapy.Spider):
......
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
if(crawler.settings.frozen):
crawler.settings.frozen = False
rawler.settings.set("SETTING","NEW_VALUE")
#crawler.settings.overrides.settings.set("SETTING","NEW_VALUE")
crawler.settings.freeze()
spider = cls(*args, **kwargs)
spider._set_crawler(crawler)
return spider
AR
эм, а вот так низзя?
class SomeSpider(scrapy.Spider):
......
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
if(crawler.settings.frozen):
crawler.settings.frozen = False
rawler.settings.set("SETTING","NEW_VALUE")
#crawler.settings.overrides.settings.set("SETTING","NEW_VALUE")
crawler.settings.freeze()
spider = cls(*args, **kwargs)
spider._set_crawler(crawler)
return spider
а смысл? экспортер уже создался
AR
ну камон
i
эм, а вот так низзя?
class SomeSpider(scrapy.Spider):
......
@classmethod
def from_crawler(cls, crawler, *args, **kwargs):
if(crawler.settings.frozen):
crawler.settings.frozen = False
rawler.settings.set("SETTING","NEW_VALUE")
#crawler.settings.overrides.settings.set("SETTING","NEW_VALUE")
crawler.settings.freeze()
spider = cls(*args, **kwargs)
spider._set_crawler(crawler)
return spider
если это взлетит то круто, но наверное не в моем случае, это если надо писят пауков в цикле наверное запускать. И то небось проще сделать list раннеров, создающихся на передаче list сеттингс.
МС
а смысл? экспортер уже создался
ок, а перекрытие экспортера/пайпа? :)
З.Ы. я настырный 😂
З.Ы. я настырный 😂
AR
ну можно сделать экспортер, который читает настройку не в
__init__, но вы ещё эту настройку в него потом передайтеi
а если нет то просто сунуть в кастом_сеттингс паука или инициализировать из аргумента
а вот про это - это для FEED_URI как-то можно сделать? Из кода, что-то вроде в __init__ засунуть кастом настройку, и она будет его менять?
AR
можно наверно, если смочь, но не со стандартным FeedExporter (почему - я тоже уже писал)
AR
🤷♂️