Грубо говоря таймаут поиска элемента

Если тебе надо ждать, типа появления элемента, смотри expected conditions, тут по поиску

Если у тебя один "поток" то слип нормально  будет, если ты точно знаешь сколько нужно ждать

import expected

в qt вот такое делал)

Поищи, есть примеры кода, вроде даже от меня

что б не слип

В итоге получается проще и стабильней чем слипами обкладываться.

Но лучше условия использовать

вот такой код:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdriver.support.ui import WebDriverWait

driver = webdriver.Chrome(executable_path=r'c:\prjvk\webdrivers\chrome\chromedriver.exe')
driver.implicitly_wait(30)
wait = WebDriverWait(driver, 30)
driver.maximize_window()
driver.get('https://www.citrus.ua/')
wait.until(ec.visibility_of_element_located((By.CSS_SELECTOR, "#search-input")))
elem = driver.find_element(By.CSS_SELECTOR, "#search-input")
elem.send_keys('iphone')
elem.send_keys(Keys.ENTER)

Ето на кнопку нехт, могу реагировать только на наличие A tags

А они по любом есть

Можете скинуть код где в scrapy проверяется robots.txt? (Не сам файл robotstxt.py, а где используются его функции. В references не нашёл)

ROBOTSTXT_OBEY = False?

scrapy/downloadermiddlewares/robotstxt.py

Что значит "где используются"?

Не, просто хочу посмотреть на каком этапе парсится robots.txt

Ищи порядок выполнения дэфолтных миделверов

Спасибо, похоже на то что нужно. Смотрел в scrapy/robotstxt.py