А так - эта штука годная очень - менелдмент пауков - жаль что нет API

scrapyd

Разраб - написал - что скоро будет....

Не я имел ввиду эту систему scrapydweb

а

Всем привет, есть кто продаёт парсеры сайтов интересует work.ua, rabota.ua, olx, besplatka и подобные? Напишите в лс 🙏. Нужно собирать только номера телефонов

Подскажите как правильно организовать сохранение большого количества хтмл страничек (> 100 000 ) которые разбросаны по всему сайту - т.е. нужно лазить по сайту и сохранять соответствующие фильтру страницы. Всего страниц 1кк+. Решил в лоб - в пауке сохраняю - но долго получается из-за блокировки при сохранении. Надумал в одном потоке парсить и найденное бросать на обработку в другой поток, но тогда все равно там задержка. Как можно, не знаю как правильно сказать, асинхронно или многопоточно в данном случае можно сохранить результат?

Можете сказать что такое паук?

Spider

Тут писали в пауке сохраняю, это какой-то готовый софт для парсинга?

Scrapy

Можете ссылку дать?

Я нашёл вчера что тебе нужно , позже скину

Спасибо

дак весь чат про это, и ссылка эта в инфе о чате :)

Про что чат ?

про Scrapy

ну тут просто спрашивают что такое Scrapy и пауки

как-то странно