TT
Как это сделать ?? Нифига не выходит
Size: a a a
2019 October 23
TT
for nnnnn :
TT
в цикле for вывожу принт - тут начинаются проблемы
TT
МС
МС
я х/з почему json.load так обрабатывает твой файл, но у айтемов еще есть type + value
МС
из-за того, что ты используешь безопасный метод, ты получаешь в ответ None
имхо лучше пользовтаь item['address'], так получишь сразу эксепшен
имхо лучше пользовтаь item['address'], так получишь сразу эксепшен
TT
но если данные будут отсутствовать парсер встанет при таком подходе
МС
Tim Tim
но если данные будут отсутствовать парсер встанет при таком подходе
да, но, тут вопрос критичности данных. Точнее что тебе критичнее.
по правде говоря, если поменялась структура - то один хрен все надо переделывать, и этот эксепшен будет меньшим из всех зол :)
по правде говоря, если поменялась структура - то один хрен все надо переделывать, и этот эксепшен будет меньшим из всех зол :)
МС
ну и, никто тебе не мешает делать проверки :)
2019 October 24
МС
вот объясни, нахрена тебе сейчас кластер? тебе надо обрабатывать десятки млн. ссылок в минуту/час? Тебе надо чекнуть сотни тысяч ссылок в течении нескольких минут?
в 99,999% кластер нахрен не впился. Вот когда будет задача под него, тогда и изучешь, ты сам скрапи еще не знаешь, как пайпы/мидлвари работают...
в 99,999% кластер нахрен не впился. Вот когда будет задача под него, тогда и изучешь, ты сам скрапи еще не знаешь, как пайпы/мидлвари работают...
МС
и да, для таких вещей, обычно, минимальные азы даются, и они есть в офф. туторе, все остальное - предполагается что человек знает чего хочет и уже имеется минимальный багаж, что бы не спрашивать "а дайте тутор".
МС
Дак многие с этого начинают - сначала кластер пытаются сделать - не полуается (опыта ж нет) - потом с горем попалам ставят с 100 попытки scrapyd и все желание делать кластер пропадает
не, ну так то да, физику в принципе добнее начинать учить с ядерной, а потом уже основы 🙃
R
не, ну так то да, физику в принципе добнее начинать учить с ядерной, а потом уже основы 🙃
😂😂😂
МС
Там с деплоем еще будут танцы - все еще впереди
ага, ставим кластер, разуемся проекту "hello world", потом задаем ворос "а шо за зверь такой - scrapyd"
МС
кому она "пи...ц как нужна", она работает. А остальным она нахрен не нужна :).
А туторов нет, потому что:
1. слишком узкая область
2. на это время надо, а знают эту тему люди занятые, так что им лениво писать :))
А туторов нет, потому что:
1. слишком узкая область
2. на это время надо, а знают эту тему люди занятые, так что им лениво писать :))