EB
но и то, в зависимости от объемов там скорее всего скрапи-редис хватит
Size: a a a
2019 October 31
EB
инста, вконтактик...
даст парсить 100М?) в какой период? 100M/84600 - в один поток это 1к дней
МС
единственное адекватное применение кластера это парсинг всего инета(яндекс/гугл)
не, ну у меня грозит задача парсить ГЕО инсты но паре сотен городов. Если пойдет проект. То там десятки млн постов в адекватное время обрабатывать надо + всех авторов.
Че то интеерсненькое предполагается...
Че то интеерсненькое предполагается...
EB
одна нода держит 10-20 потоков спокойно — 50-100 дней….
EB
там еще проблема интерестная вылезет….ботлнеком будет БД…прост мало кто парсил что-то действительно крупное…у меня БД в несколько ТБ, запись занимает больше времени, чем парсинг с одной ноды
EB
и это с кучей хаков, отключенными транзакциями итд
МС
там еще проблема интерестная вылезет….ботлнеком будет БД…прост мало кто парсил что-то действительно крупное…у меня БД в несколько ТБ, запись занимает больше времени, чем парсинг с одной ноды
да это да, я сразу людям озмвучил эту проблему, пускай думают :)
EB
и строк там около 8Б
МС
кстати о базах - на стадии разработки постгрес в докере поднять, это по феншую или нет? На разработке суммарно несколько млн записей будет...
МС
а то чет увидел вопрос на тостере про тормоза в докере - там человека помидорами закидали 😂
МС
блин, лям записей, это и в csv при большом желании можно хранить :)
B
и строк там около 8Б
а nosql пробывал?
МС
json тяжелее втягиваться будет, сугубо мое мнение....
но, в любом случае, не забивай себе голову кластером
но, в любом случае, не забивай себе голову кластером
EB
а nosql пробывал?
там реляционная нужна
EB
постгрес и стоит
EB
мускуль сдох на первой версии этой бд