PK
Справеддливо. Типа как писать в 100500 маленьких партиций, а потом отдельно делать compaction
Size: a a a
2021 April 21
D
имхо это для каких-то игровых задач, у энтерпрайза просто же бесконечно идут ETL, не понимать же кластер на каждый ETL или скоринг
AZ
хм, видимо те кому я строил даталейки это не настоящие энтерпрайзы)
D
или строил на терадате. одно из двух ;)
AZ
тут смысл иной: если у вас три группы пайплайнов, то вы можете конечно поднять один кластер, засучить рукава и заняться настройкой планировщика, но вы также можете запустить три разных кластера, отдать их группам целиком
а потом каждая группа может взять кластер размера Х и обработать суточную порцию за сутки, а может взять кластер 6Х и обработать порцию за 4 часа, а потом убить кластер
а потом каждая группа может взять кластер размера Х и обработать суточную порцию за сутки, а может взять кластер 6Х и обработать порцию за 4 часа, а потом убить кластер
AZ
более того вы можете разные теги повесить на эти разные кластера, и чарджить ваших пользователей строго за то что они используют
AZ
но вам лучше конечно один большой кластер, так интереснее 😊
AZ
вы меня раскусили)
D
ну а вы всерьез встречали энтерпрайзы с тремя группами пайплайнов ?
K
Хдфс норм
AZ
я три привел в качестве примера, я работал с клиентами у которых десятки групп, а пайплайнов тысячи
K
А данные из вакуума считываются ?
AZ
почему из вакуума? с дисков на других узлах
K
На других узлах какие то другие диски ?
AZ
да, на других узлах больше дисков чем локальном узле
K
Но считывание идёт с конкретной реплики , на конкретном диске
AZ
да, и с быстрой сетью вам все равно, где этот диск - локально или на другой машине
K
Но у вас куча этапов , у вас же не один меп редьюс, спарка бы не было, если бы все в один меп редьюс все засовввалось
T
+++ ещё и энтропия не будет накапливаться
D
нам не интересно обрабатывать суточный инкремент. добрая половина доставляет данные каждые 30 минут, еще часть в кафку. идея поднимать и опускать кластера каждые 30 минут так себе