а урлов?

один урл один сайт

вот кстати ещё вопрос, урлы уже есть или надо зайти на сайт из списка и ходить по нему собирать их

аа

это упрощаэ конечно

уже есть урлы

тю, легкотня, в масштабах мировой революции 😂

ну что-то такое

самое простое сделать 50 пауков и поделить список на 50 частей :)

Или thread pool и самопис.

вернее что-то такое:
import multiprocessing
и потом
https://i.imgur.com/hyjWrUk.png

треды и requests + lxml?

ну там просто разделение пула запросов на ядра, через import multiprocessing, добавлением пары строчек получаем что питон сам этим занимается, а мое дело для него функцию написать, которая обрабатывает одну url'ку
lxml не обязательно, можно заюзать скрапиевский Parsel, но если прям надо скорость-скорость, то можно и его, а вообще без разницы - у меня к примеру это был хром, помушо скрапи работать не хотел, даже со splash

там еще существенно важно, чтобы запускалось из-под if name == "main":
правда я уже не помню зачем, но что хорошо - никаких асинк-авайтов не надо, а все ядра заняты

про parsel:
from parsel import Selector
...
и дальше работаем как со стандартным респонсом из скрапи
sel = Selector(page)
companies = sel.css('.listing.listing-search.listing-data')

Подскажите. Не получается спарсить json файл через FormRequest. Все время xml выдает. Чего-то нехватает.
yield scrapy.FormRequest(
                               url=url,
                                formdata={'page':'0', 'pageSize':'15', 'search':''},
                                callback=self.parse)

headers чтоли нехватает или киньте пример как парсит json файл

Accept-Type? или как его там

глянть что браузер шлет в этом поле