Size: a a a

2020 August 05

К

Кирилл in Scrapy
Sergey Sergey
во) я тоже туда думал. А как в скрейпи последовательно сделать вызовы? Или только ручками, реквестом?
поставь количество конкурентных запросов 1
источник

SS

Sergey Sergey in Scrapy
CONCURRENT_REQUESTS_PER_DOMAIN = 1
источник

SS

Sergey Sergey in Scrapy
или на айпи надо
источник

AR

Andrey Rahmatullin in Scrapy
и как это поможет стать синхроннее?
источник

AR

Andrey Rahmatullin in Scrapy
единственный способ синхронизации - возвращать второй запрос из коллбэка первого
источник

К

Кирилл in Scrapy
да, если несколько точек входа не поможет
источник

SS

Sergey Sergey in Scrapy
Andrey Rahmatullin
единственный способ синхронизации - возвращать второй запрос из коллбэка первого
не совсем понимаю. Я из первого гет запроса вызываю пост запрос и в коллбэке указываю функцию разбора json. Или я не правильно понял
источник

AR

Andrey Rahmatullin in Scrapy
ну выше писали про непоследовательные, я указал что решение неверное
источник

К

Кирилл in Scrapy
каждый следующий запрос делаешь из предыдущего
источник

AR

Andrey Rahmatullin in Scrapy
а задачу тут никто не видел
источник

SS

Sergey Sergey in Scrapy
источник

AR

Andrey Rahmatullin in Scrapy
ну лан, позовёте
источник

К

Кирилл in Scrapy
у тебя есть цикл или всего 2 запроса?
источник

SS

Sergey Sergey in Scrapy
два запроса
источник

SS

Sergey Sergey in Scrapy
до этого просто лист со ссылками
источник

К

Кирилл in Scrapy
Тебе нужно сделать цепочку вызовов, а не дерево, убирай список, и каждый следующий вызов должен быть из предыдущего
источник

К

Кирилл in Scrapy
Если не поможет, то пробуй второй вариант
источник

SS

Sergey Sergey in Scrapy
Кирилл
Тебе нужно сделать цепочку вызовов, а не дерево, убирай список, и каждый следующий вызов должен быть из предыдущего
Ты имеешь ввиду, что на вход подать один урл, пропарсиь его в два запроса(гет и пост) и в конце из него вызвать подачу следующего урла?
источник

К

Кирилл in Scrapy
Sergey Sergey
Ты имеешь ввиду, что на вход подать один урл, пропарсиь его в два запроса(гет и пост) и в конце из него вызвать подачу следующего урла?
да
источник

SS

Sergey Sergey in Scrapy
понял. Спасибо, буду пробовать. Так то проще реквестом такое пилить) На первый взгляд
источник