МС
брось сюда файл паука, тока именно сам файл, ненадо ничего никого копировать
Size: a a a
2019 October 24
Y
Надо с оф сайта качать телегу просто
Y
Из репозитория не работало, телефон пишешь и нифига не происходит
EB
вот объясни, нахрена тебе сейчас кластер? тебе надо обрабатывать десятки млн. ссылок в минуту/час? Тебе надо чекнуть сотни тысяч ссылок в течении нескольких минут?
в 99,999% кластер нахрен не впился. Вот когда будет задача под него, тогда и изучешь, ты сам скрапи еще не знаешь, как пайпы/мидлвари работают...
в 99,999% кластер нахрен не впился. Вот когда будет задача под него, тогда и изучешь, ты сам скрапи еще не знаешь, как пайпы/мидлвари работают...
вот прям с языка снял…я тоже долго заморачивался над этим, сейчас в лучшем случае scrapyd а то и просто паук из когда пускаю….кластер нужен, когда просто индексируем весь инет и нет возможности поделить на мелкие задачи…и кластер это в первую очередь железо, на одной впс клакстер поднимать бессмылсенно
МС
yield items.load_item()
так у него же не лоадер....
МС
1. какая версия скрапи? у меня на extract материться
МС
class QuotetutorialItem(scrapy.Item):
МС
при объявлении сласса айтема, по моему, пролюбил наследование
МС
class QuotetutorialItem(scrapy.Item):
# define the fields for your item here like:
title = scrapy.Field()
author = scrapy.Field()
tag = scrapy.Field()
МС
3. импорт класса айтема лучше ИМХО делать абсолютным путем
exist_crawl - это имя моего проекта
from exist_crawl.items import QuotetutorialItem
exist_crawl - это имя моего проекта
МС
в прЫнципе, вроде, все
К
1. какая версия скрапи? у меня на extract материться
Это большая проблема, я хз где это берут, но постоянно легаси код, как будто доки и не открывали
МС
Это большая проблема, я хз где это берут, но постоянно легаси код, как будто доки и не открывали
просто во всех туторах насован extract + extract_first, сам его раньше пользовал...
потом увидел "get" и экстракт уже лениво писать стало :)
потом увидел "get" и экстракт уже лениво писать стало :)
МС
PEP8 это не истина поледней инстанции, это РЕКОМЕНДАЦИИ для того, что бы код был единообразно оформлен