подскажите, а можно ли в пауке, всегда держать открытым селениум? т.е зашел на страницу и не закрываешь её, а скрепи постоянно пишет изменения на странице.

Скрапи не может ничего писать, он только запросы умеет. А селениум это такой же браузер как обычный,  т.е. можно делать почти все что и руками делаешь

Соединение остается открытым только с сокетами, на 90% сайтов их нет. Обычно же сайт отправляет через js, xhr запросы чтоб апдейтить одну и ту же страницу

Я имею в виду, у меня паук начинает с self.driver.get(response.url)
time.sleep(3) потом спит чтобы загрузилась страница, дальше манипуляции с контентом страницы, но сама страница динамическая, там постоянно меняются данные, можно ли сделать так, чтобы селениум раз открыл сайт(не нужно было ждать первой загрузки) а скрепи постоянно собирал данные с страницы куда надо.
чтобы избежать yield Request(response.url, callback=self.parse, dont_filter=True)

Ну да, сделай while и читай и драйвера хоть целый день

Отлично, спасибо!
self.driver.get(response.url)
time.sleep(3)
while True:
              сохраняем данные куда нужно

ребят, я правильно понимаю, что это база регулярных выражений, которую можно использовать для удобного парсинга ?
http://exslt.org/set/index.html

и как парсить без ограничений даже с защищенных сайтов ?

Бесплатно без регистрации и смс надеюсь?

ну да и чтоб не париться...и еще я подключила гугл агента + прокси, гугл агент перестал парситься через 500 строчек в бд
а когда прокси подключила, то вообще не работает парсинг...почему...?(

А что такое гугл агент?

юзер агент

типо ты гугл

Толсто.

не работает и ужастно медленно через проекси

(

что делать чтобы быстро и работало ?