построчно пишешь или же при завершении краулера пачкой? какой объем нормально гонять через кролика, чтоб я сразу ограничение выставил)

I'm write one by one

on pages with list items just use objects.bulk_create

понял, звучит не очень рационально для базы или я слишком заморачиваюсь

you're right

you can write all items in the ends of your spider

Скорее всего слишком

Так, вопрос такой.
есть прокси, есть два сайта А И Б.
с сайта А все парсится через прокси.
С сайта Б Проиходит такое:
2020-08-30 18:14:24 [rotating_proxies.middlewares] WARNING: No proxies available; marking all proxies as unchecked
2020-08-30 18:14:24 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://xxx/api/9/items?categoryId=23&params%5B200%5D=1055&key=af0deccbgcgidddjgnvljitntccdduijhdinfgjgfjir&sort=date&locationId=637640&limit=50&priceMin=9000&priceMax=13000&owner%5B%5D=company&page=1>: HTTP status code is not handled or not allowed

что ему не нравится, при том что по этой ссылке и через браузер, и через обычный питон-реквест всё отдает

юзер-агента подключал

Может страна прокси в бане

Сейчас есть некоторые проблемы с интернетами глобально

Говорят какой-то пиздец у провайдеров

CenturyLink #ХЕРАКС
И в штатах как раз раннее утро воскресенья. Надеюсь, парни справятся с проблемой к понедельнику

Здравствуйте! Не подскажете можно ли спарсить этот сайт https://pinarello.com/bikes/

в чём вопрос?

а почему нет?

а я думаю, чо у меня бот к базе не может достучаться

господа, а из пайплайна при вызове close_spider нормальная идея запускать таск в селери? просто у меня он почему-то не запускается. но при этом сам спайдер запущен таском, может быть из-за этого?

upd. забыл вызвать delay() у таска, заработало.