В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

380 membersпожаловаться на группу
2019 October 31

i

ildar in Scrapy
вот кстати как-раз после того как я те сайты с лямом записей парсил с необходимостью кеша я от файликов и отказался))
источник
17:46пожаловаться#1

i

ildar in Scrapy
потому-что удалять несколько сот тысяч файликов даже на убер-быстром ssd это боль
источник
17:47пожаловаться#2

i

ildar in Scrapy
а leveldb создает штук 100 что-ли файликов, ну может тыщу
источник
17:47пожаловаться#3

МС

Михаил Синегубов in Scrapy
ildar
потому-что удалять несколько сот тысяч файликов даже на убер-быстром ssd это боль
та ладна, я на яндекс синхронизировался нечаянно в в пару сот тыс.... от это печаль 😂 он удаляет чуть ли не дольше чем заливает
источник
17:48пожаловаться#4

i

ildar in Scrapy
мде, ну да ладно, уйдем на DBM storage, надеюсь там не будет подводных камней и надо будет просто поставить и прописать одну строчку
источник
17:49пожаловаться#5

МС

Михаил Синегубов in Scrapy
народ, а давайте я чуть чуть потуплю
а что такое за зверь "DBM"?
источник
17:50пожаловаться#6

i

ildar in Scrapy
для меня это выглядит как база данных, похожая на leveldb, но старей)
источник
17:51пожаловаться#7

i

ildar in Scrapy
а вообще даже не база данных, а какой-то универсальный интерфейс
источник
17:51пожаловаться#8

i

ildar in Scrapy
и там есть реализации под линух и винду и еще быстрая и медленные какие-то.
источник
17:52пожаловаться#9

МС

Михаил Синегубов in Scrapy
https://ru.wikipedia.org/wiki/DBM
хм, это nosql что ли?
источник
17:53пожаловаться#10

i

ildar in Scrapy
для скрапи копать отсюда https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#dbm-storage-backend
источник
17:53пожаловаться#11

i

ildar in Scrapy
ну вроде да, ключ-значение, я так понял это из серии аля редис -мемкешед и прочих редисок
источник
17:54пожаловаться#12

i

ildar in Scrapy
там еще из интересных особенностей - значения надо в byte хранить
источник
17:55пожаловаться#13

МС

Михаил Синегубов in Scrapy
короче, надо применять метод научно обоснованного тыка, 😄
источник
17:56пожаловаться#14

i

ildar in Scrapy
я вот одного боюсь - в leveldb вроде как из-коробки была очень быстрая архивация "на-лету", называлась snappy, ну т.е. там главно это скорость архивации-разархивации, а не сжатие. ну и это байда от гугля, которую он сам использует в куче проектов, в т.ч. и для кеша хрома емнип.
источник
17:57пожаловаться#15

i

ildar in Scrapy
Боюсь как-бы не случилось того, что с этими dbm-реализациями либо размер кэша в стратосферу улетит, либо скорость упадет
источник
17:58пожаловаться#16

i

ildar in Scrapy
(хотя не факт что эта архивация работала в случае со скрапии, лол)
источник
17:58пожаловаться#17

К

Кирилл in Scrapy
ildar
чооооо, вот паразиты!
The LevelDB storage backend (scrapy.extensions.httpcache.LeveldbCacheStorage) of HttpCacheMiddleware is deprecated (issue 4085, issue 4092)
А почему просто не взять из старой версии? Если тебе с ней удобно то кто запретит
источник
18:29пожаловаться#18

i

ildar in Scrapy
они ж не просто так его дропают, там в питоне 3.8 какие-то ментейнеры из дебиана не хотят его ментейнить помушо он  старый и не компилится, причем это просто врапперы. может там кто-то просто психанул
источник
18:32пожаловаться#19

i

ildar in Scrapy
читаю детектив тут: https://github.com/scrapy/scrapy/pull/4092
GitHub
Add Python 3.8 official support by further-reading · Pull Request #4092 · scrapy/scrapy
Fixes #4085
источник
18:33пожаловаться#20