Size: a a a

2020 October 15

A

Andrii in Scrapy
Dmitry Fedorov
Ну с такими гайдами нету вопросов их пол интернета на всех языках, что-то вроде "hello world"... а чего-то комплексного не нашёл. Поэтому и поинтересовался, вдруг есть что-то подобное,а так спасибо за консультацию
Udemy - scrapy
источник

DF

Dmitry Fedorov in Scrapy
Ну видимо таких how-to нет и по классике через документацию 😊.  Про курсы тоже идея, но там слишком много воды
источник

A

Andrii in Scrapy
Dmitry Fedorov
Ну видимо таких how-to нет и по классике через документацию 😊.  Про курсы тоже идея, но там слишком много воды
How-to что?
источник

A

Andrii in Scrapy
How to scrape with scrapy?
источник

A

Andrii in Scrapy
Dmitry Fedorov
Ну видимо таких how-to нет и по классике через документацию 😊.  Про курсы тоже идея, но там слишком много воды
Счала нужно посмотреть курс, а потом говорить что вода
источник

СК

Семён Кашин... in Scrapy
Приветствую! Подскажите, пожалуйста, где посмотреть в исходниках как реализована запись результов работы scrapy на диск?
Когда я запускаю паука командой: scrapy crawl <spider> -o result.jj
Вот непосредственно код, который пишет данные на диск. Где он находится? найти никак не могу. Заранее спасибо
источник

К

Кирилл in Scrapy
Семён Кашин
Приветствую! Подскажите, пожалуйста, где посмотреть в исходниках как реализована запись результов работы scrapy на диск?
Когда я запускаю паука командой: scrapy crawl <spider> -o result.jj
Вот непосредственно код, который пишет данные на диск. Где он находится? найти никак не могу. Заранее спасибо
источник

S

SoHard 🎄 in Scrapy
Семён Кашин
Приветствую! Подскажите, пожалуйста, где посмотреть в исходниках как реализована запись результов работы scrapy на диск?
Когда я запускаю паука командой: scrapy crawl <spider> -o result.jj
Вот непосредственно код, который пишет данные на диск. Где он находится? найти никак не могу. Заранее спасибо
источник

СК

Семён Кашин... in Scrapy
Спасибо!
источник

AT

Andy Top in Scrapy
Ребят можете примерно указать функционал парсера новостей в тг каналах. Хочу потренироваться, но не могу придумать функционал. Ну то есть что я буду вводить, или ссылку на канал вводу и что, копировать все новости? Или можно конкретизировать ввод в программу, ну то есть как то указать номер новости. Но думаю это как то неудобно. Можете примерно сказать, может вам когда то на фрилансе приходилось делать парсер тг каналов(-ла). Какое было тз?
Огромное спасибо кто ответит
источник

К

Кирилл in Scrapy
Andy Top
Ребят можете примерно указать функционал парсера новостей в тг каналах. Хочу потренироваться, но не могу придумать функционал. Ну то есть что я буду вводить, или ссылку на канал вводу и что, копировать все новости? Или можно конкретизировать ввод в программу, ну то есть как то указать номер новости. Но думаю это как то неудобно. Можете примерно сказать, может вам когда то на фрилансе приходилось делать парсер тг каналов(-ла). Какое было тз?
Огромное спасибо кто ответит
Сделай бота ленту
источник

AT

Andy Top in Scrapy
Кирилл
Сделай бота ленту
Это как? Я новичок и опыта мало, поэтому немного не понимаю?
источник

AT

Andy Top in Scrapy
Кирилл
Сделай бота ленту
Это как бы бот всегда мониторит канал и скидывает новую новость, появившуюся на канале?
источник

К

Кирилл in Scrapy
да вроде того, плюс всякие фильтры и т.п.
источник

К

Кирилл in Scrapy
Ещё помню был удобный бот, который мониторил чаты, по заданным словам, но он сейчас не работает. Может конечно есть другие аналоги, но я не интересовался
источник

СК

Семён Кашин... in Scrapy
А подскажите, пожалуйста, кто вызывает эти exporters?
источник

СК

Семён Кашин... in Scrapy
в каждый из них в конструктор приходи <_io.BufferedWriter name=''>
источник

A

Andrii in Scrapy
Andy Top
Это как бы бот всегда мониторит канал и скидывает новую новость, появившуюся на канале?
Всегда ето как? Рилтайм?
источник

СК

Семён Кашин... in Scrapy
кто создает этот потоковый вывод?
источник

G

Georgiy in Scrapy
Семён Кашин
кто создает этот потоковый вывод?
https://github.com/scrapy/scrapy/blob/2.3.0/scrapy/extensions/feedexport.py

в обычном случае для каждого feedexporter создается объект FileFeedStorage из которого берется обьект файла в FeedExporter extension
источник