AT
Size: a a a
2020 October 15
СК
https://github.com/scrapy/scrapy/blob/2.3.0/scrapy/extensions/feedexport.py
в обычном случае для каждого feedexporter создается объект FileFeedStorage из которого берется обьект файла в FeedExporter extension
в обычном случае для каждого feedexporter создается объект FileFeedStorage из которого берется обьект файла в FeedExporter extension
спасибо
СК
А скажите, пожалуйста, в чем концептуальное отличие pipelines от exporters?
СК
просто как по мне так они несколько дублируют функционал друг друга
МС
А скажите, пожалуйста, в чем концептуальное отличие pipelines от exporters?
пайп - управляет выводом (куда и при каких условиях)
экспортет - пишет данные
это очень примитивно, и да, очень часто на экспортер забивают :)
экспортет - пишет данные
это очень примитивно, и да, очень часто на экспортер забивают :)
МС
а, ну и, это не академический ответ, это на основании моего мировозрения 😂
S
Ребят можете примерно указать функционал парсера новостей в тг каналах. Хочу потренироваться, но не могу придумать функционал. Ну то есть что я буду вводить, или ссылку на канал вводу и что, копировать все новости? Или можно конкретизировать ввод в программу, ну то есть как то указать номер новости. Но думаю это как то неудобно. Можете примерно сказать, может вам когда то на фрилансе приходилось делать парсер тг каналов(-ла). Какое было тз?
Огромное спасибо кто ответит
Огромное спасибо кто ответит
Только это не через scrapy нужно делать
A
Scrapyrt?)
MМ
Только это не через scrapy нужно делать
Можно через телеграм веб парсить
S
Можно через телеграм веб парсить
Но зачем
S
https://github.com/alexander-akhmetov/python-telegram тогда это можно использовать
telethon, pyrogram та хоть самому запросы слать, но не веб версию же парсить
МС
telethon, pyrogram та хоть самому запросы слать, но не веб версию же парсить
ну, зачем искать легкие пути... :)
S
ну, зачем искать легкие пути... :)
зачем обрабатывать 1-2кб джсона вместо 40 веб версии )
МС
зачем обрабатывать 1-2кб джсона вместо 40 веб версии )
истину глаголешь
OS
Товарищи, а по дефолту скрапи пытается запросы отправлять на ужатый response или нет?
MМ
ну, зачем искать легкие пути... :)
У скрапи есть способы чтобы такие библиотеки интегрировать? Было бы удобно если можно было использовать все эти абстракции для айтемов итд не только для http кравлеров.