МС
ну, я бы поставил количество одновременных запросов "1" и посмотрел как он себя вести будет
def start_requests(self):
r = redis.Redis(host='redis', port=6379, db=0, socket_keepalive=True)
start = r.get('scrapy_pointer')
if start==None:
start = 100000
r.set('scrapy_pointer', 100000)