i
Size: a a a
2019 October 31
МС
ничосе тут задачи - 100 лямов спарсить. У меня максимум пара лямов были сайты)
А на таких объемах это уже начинаются задачки вида "спарсить весь интернет" чтоб по-бырику проверить какуюто научную теорию
А на таких объемах это уже начинаются задачки вида "спарсить весь интернет" чтоб по-бырику проверить какуюто научную теорию
то что у меня - там какя то хитрая статистика (хз, это уже без меня)
а так, самое "глобально" писал парсер по преребору всех пользователей вконтактика, там было ~3 млрд ID , на тот момент
а так, самое "глобально" писал парсер по преребору всех пользователей вконтактика, там было ~3 млрд ID , на тот момент
МС
в один поток черех API, за месяц прогрыз всех
МС
Кстати, есть же крутой проект для таких вещей, под эгидой "все уже спаршено до нас"
социальки всегда актуальны для парсинга :), и всем свежак подавай
МС
но они парсят со скрапи
во во, скрапи рулит 🤘
i
а во, нашел: http://commoncrawl.org/
i
лям записей это фигня, кластер для этого не нужен, домашнего компуктера достаточно, там все упирается в количество прокси и стойкость самого сайта. При неспешном парсинге можно за 2-5 дней обычно любой подобный сайт спарсить. При условии, что там нет адекватного API, если есть - и они не угорают по ограничениям, это вообще может быть иной раз минут за 10 быть сделано.
К
ща я найду! было в этом видосе
https://www.youtube.com/watch?v=l11caoD_MFc
https://www.youtube.com/watch?v=l11caoD_MFc
Помню был еще какой-то скрапер, типа достаешь руками одни данные, вводишь их, он парсит вторую страницу сам, а ты его поправляешь правильно или нет
i
идешь читаешь https://docs.scrapy.org/en/latest/intro/tutorial.html и дерзаешь
i
парсишь много инфы ты одним скрапи. Ничего кроме этого больше для начального уровня не нужно, ни кластеров, ни scrapyd. А графики это уже в сторону pandas/matplot https://python-graph-gallery.com/all-charts/ и прочее что больше нравится
МС
ну капец, и чо мне юзать теперь? боль-печаль!
файлики😂