Телеграмм чат группы scrapy

то что он подсвечивает только часть, это баг синтаксического анализатора консоли. Точнее , почти все анализаторы багуют.
У тебя не кодированы квадратные скобки, вот оно и косячит на экране

источник

11:00пожаловаться #7

Bulatbulat48 in Scrapy

амазон не лучший пример, я бы даже сказал что один из самых плохих для обучения, лучше возьмите самый простой сайт.

источник

11:01пожаловаться #8

Tim Tim in Scrapy

Нет сегодня такое уже было ... Я загнал jsona в файл. И работал через test.py но похоже что не могу тело для итераций впоймать - решил опять в cmd уйти - тут то он и светил как без кавычек...

источник

11:02пожаловаться #9

Bulatbulat48 in Scrapy

Tim у тебя же пишарм, используй дебаггер. Там в 100 раз удобнее через через шел.

источник

11:04пожаловаться #10

Tim Tim in Scrapy

Так дебажить нужно код. У меня только джейсон файл. Ловлю ключи из файла. Там дебажить не чего (если я правильно понимаю ситуацию)

источник

11:05пожаловаться #11

Tim Tim in Scrapy

Ну я в шеле пайчар и работаю... Только не в режиме дебаг

источник

11:06пожаловаться #12

Bulatbulat48 in Scrapy

справа на верху есть жук, открываешь жмешь + добавляешь

python.

заполняешь имя и три поля

module name: scrapy
parameters: crawl your_spider_name
working directory

директория проекта

ну и interpretor тоже

источник

11:09пожаловаться #13

Мак in Scrapy

Bulatbulat48

справа на верху есть жук, открываешь жмешь + добавляешь

python.

заполняешь имя и три поля

module name: scrapy
parameters: crawl your_spider_name
working directory

директория проекта

ну и interpretor тоже

у меня кстати дебаггер почему то не хочет менять рабочую директорию. в итоге запуск работает, а дебаггер нет

источник

11:11пожаловаться #14

Bulatbulat48 in Scrapy

Мак

у меня кстати дебаггер почему то не хочет менять рабочую директорию. в итоге запуск работает, а дебаггер нет

странно покажи

источник

11:16пожаловаться #15

Lex in Scrapy

Tim Tim

можно просто в шел зайти, а там уже fetch(url) и r'url' и еще что-нибудь

источник

11:21пожаловаться #16

Lex in Scrapy

Как управлять кучей скраперов? Работать должны постоянно, некоторые изредка отваливаются.
Написал простенький скрипт через CrawlerRunner. Тупо запускает их по кругу через интервал.
Может есть какое решние?

источник

11:25пожаловаться #17

Tim Tim in Scrapy

Lex

https://scrapinghub.com/scrapy-cloud

Scrapinghub

Scrapy Cloud - The Most Advanced Platform for Running Web Crawlers

Scrapy Cloud is the most powerful platform to deploy & run your web crawlers. Your spiders run in the cloud & scale on demand.

источник

11:27пожаловаться #18

Tim Tim in Scrapy

Парни что то не пойму. Файл json а ни items ни result - итерации не дают... На ровном месте топчусь не могу вкурить