МС
ну, мне постгрес еще познавать и познавать. Мне sqlite нехило так подо....ал своей простотой.
все никак не вкурюсь более/меннее нормально☹️
все никак не вкурюсь более/меннее нормально☹️
Size: a a a
2019 October 31
АП
Простота скулайта обманчива, он очень мощьный инструмент.
s
скрапингхаб появился в гитхаб студент паке =) https://education.github.com
МС
Простота скулайта обманчива, он очень мощьный инструмент.
а я и не говорил что не мощьный, но мне сейчас не хватает его чуток. все таки несколько десятков млн записей в нем не есть хорошо хранить.
сам им пользовался несколько лет, главное блокировки отлавливать что бы эксепшенов не было :)
сам им пользовался несколько лет, главное блокировки отлавливать что бы эксепшенов не было :)
i
Типа, чего можно передавать, в коллбеках-сигналами: https://github.com/scrapy/scrapy/blob/master/docs/topics/exceptions.rst
i
И ещё для кэша не dummy- механизм, а https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-policy-rfc2616
К
Ну и я тут писал, есть клевая либа, dataset, с ней работа с любой базой превращается в 1 строчку работы с dict (с транзакциями будет 2 строчки) . Если влом базоданновые обвязки sqlalchemy для какого-нибудь постгреса писать, можно ее использовать.
Интересная либа, я обычно если не хочу заморачиваться беру монгу, такая же работа со словарями получается
2019 November 01
i
А еще там есть куча туториалов и куча sample code с реализациями, народ там заморочился чтоб все разжевать. Hdf5 доступен через pandas, гуглишь прост "pandas hdf5". Куча линков с sample code: http://commoncrawl.org/the-data/examples/
i
Просто разделяешь задачку на маленькие и последовательно гуглишь от задачи к задаче, полезно еще сесть перед этим и подумать, а не сразу бежать гуглить или stackoverflow смотреть. (А то разовьется sdd - stackoveflow driven development, это страшная болезнь, я знаю, бесполезно лечусь уже много лет, ничего не помогает(