AZ
какая разница?
Size: a a a
2021 April 21
K
Где промежуточный результат хранить будете ?
AZ
если между спарк джобами - в HDFS, а внутри спарк джоба - на локальных дисках
K
Но зачем тогда комрьют и сторадж разделять в случае hdfs ?
AZ
потому что так удобнее управлять
K
А внутри Спарк джоба , если у вас условно десяток Тб джобой обрабатываются и параллельно на этой ноде ещё что то крутится , предлагаете побольше дисков поставить на компьют ноды?
K
Нужно метрику удобства вводить
AZ
ну вот для половины данных и для кафки можно держать отдельные кластера поменьше, а для остального и каких-то больших пересчетов можно запускать отдельные, это же все автоматизировано обычно
K
Разделение компьюта и стораджа оч прикольно, но далеко это всегда возможно
UD
Проще скейлить
UD
Компут на блейды
K
Минио?
AZ
да, как в спарке на к8с вам нужны локальные диски на компьюте
UD
Данные на коробки с 90 дисков например, плюс порты от 100г
UD
классическая рахитектура из хпц
K
У вас map/reduce , вы джоините одну таблицу на другую, или ещё что то делаете , на блейды 12тб диски тож поставите ?
AZ
вообще удивительно, я думал все в курсе что локалити не нужно
UD
шафл по сети, у компутов нвме на эти 12 тер
UD
чисто под кэш
K
А можно просто взять унифицированное железо одинаковое и жить хорошо