AR
иначе порядок не гарантируется
Size: a a a
2020 August 24
А
а, это https://github.com/scrapy/scrapy/issues/4717 наверно
Я так понимаю, что надо ждать, пока пофиксят последнюю версию?
AR
да
A
будет что-то интересное в новой версии скрапи?)
AR
смотря в которой
AR
хттп/2 будет, надеюсь
AR
и асинк start_requests с починкой алгоритма очереди
KS
У меня есть что-то вроде такого кода:
for url in urls:
yield response.follow(url, callback=self.parse_category)
yield Request(another_url, callback=self.parse_another_url, priority=1)
Если я хочу, чтобы полностью выполнились response.follow, и только после них просто Request, достаточно вот этого priority=1?
for url in urls:
yield response.follow(url, callback=self.parse_category)
yield Request(another_url, callback=self.parse_another_url, priority=1)
Если я хочу, чтобы полностью выполнились response.follow, и только после них просто Request, достаточно вот этого priority=1?
на основе вот этого кода выше....
Я могу использовать общий кеш для этих двух функций? Допустим, глобально в модуле объявить CACHE = set(), и в них проверять x in CACHE?
Я могу использовать общий кеш для этих двух функций? Допустим, глобально в модуле объявить CACHE = set(), и в них проверять x in CACHE?
AR
не надо ничего в модуле объявлять
AR
уж лучше в спайдере, но осторожно
ГЧ
Хочу ловить обновления на сайте при клике на кнопку, буду юзать для этого селениум, мне нужно с помощью beautifulsoup ловить обновления? Или с помощью селениума? Как правильнее?
К
Хочу ловить обновления на сайте при клике на кнопку, буду юзать для этого селениум, мне нужно с помощью beautifulsoup ловить обновления? Или с помощью селениума? Как правильнее?
селениума
ГЧ
селениума
Благодарю вас
A
Хочу ловить обновления на сайте при клике на кнопку, буду юзать для этого селениум, мне нужно с помощью beautifulsoup ловить обновления? Или с помощью селениума? Как правильнее?
Обновление чего? Возможно вообще не нужно браузер для етого
ГЧ
Andrii
Обновление чего? Возможно вообще не нужно браузер для етого
там если обновлять страницу - это занимает больше времени на прогрузку, а если юзать браузер - то нужно всего-лишь нажать кнопку
A
там если обновлять страницу - это занимает больше времени на прогрузку, а если юзать браузер - то нужно всего-лишь нажать кнопку
Какую кнопку?
ГЧ
Andrii
Какую кнопку?
Ну на сайте есть кнопка, нажимаешь и новые обновления на сайте подгружаются