К
можно что-то типа scrapy-redis посмотреть
Я вот не сильно разбираюсь в устройстве редис, но разве и списки и редис не in-memory? будет ли между ними большая разница и не забьёт ли это оперативку
Size: a a a
2019 October 31
EB
редис на диск сохраняет
EB
ну можно в лоб пойти и jobdir юзать
МС
да можно где угодно писать, нужно же понимать что и как происходит, если копипастить со стаковерфло, то все быстро загнется
ну, у меня, слава богу, давно уже был опыт записи не малых объемов в sqlite, так что сразу смотреть как не коммитить каждый чих :)
МС
напомните - с чего все началось :), а то пока с мелким поел - тут 100500 сообщений🤣
EB
да там не то что коммитить даже)
EB
например со страницы достаем 20-30 итемов, если поштучно сохранять то это 1-2сек только на инсерты поштучные, в итоге одну страницу в секунду обрабатываем…потом начинаются тупые вопросы из серии “скрапи тормозит, как установить кластер"
АП
Разве? он вроде только бэкапит на диск, а так в оперативке
Да. Но есть разные режимы.
МС
например со страницы достаем 20-30 итемов, если поштучно сохранять то это 1-2сек только на инсерты поштучные, в итоге одну страницу в секунду обрабатываем…потом начинаются тупые вопросы из серии “скрапи тормозит, как установить кластер"
блин, ну, "с дури можно и х...й сломать", и это не зависит от двига и прочего
так то и sqlite модно в памяти завести, тока черевато....
так то и sqlite модно в памяти завести, тока черевато....
EB
блин, ну, "с дури можно и х...й сломать", и это не зависит от двига и прочего
так то и sqlite модно в памяти завести, тока черевато....
так то и sqlite модно в памяти завести, тока черевато....
ну я поэтому и говорю, что лучше не городить то, что не понимаешь…
МС
ну я поэтому и говорю, что лучше не городить то, что не понимаешь…
ааа, вооо, тогда "ага", тогда солидарен :))
EB
я раньше тоже кодил и не парился, а сейчас на кадый чих вижу кучу аотенциальных проблем((
АП
я раньше тоже кодил и не парился, а сейчас на кадый чих вижу кучу аотенциальных проблем((
Та же фигня.
МС
взрослеете, дяденьки :).
мне повезло в свое время, мне надо было ~100 тыс записей из файла в базу залить, программно.
от тогда я и познал основы таинства транзакций
мне повезло в свое время, мне надо было ~100 тыс записей из файла в базу залить, программно.
от тогда я и познал основы таинства транзакций
EB
да транзакции та понятно) это самое простое
EB
мне пришлось с мускуля на постгрес перейти, из-за апсерта например