A
И кто что думает по этому вопросу
Size: a a a
2021 April 25
A
Пока вижу что используется, каких то других вещей не видел
R
Тут, вроде бы, или в канале дата инженерь или умри не так давно кидали хороший материал по этому вопросу.
A
Хм, почитал бы
ME
Кубер?
ME
Спарк вон в кубере уже гоняют, ярн и hdfs не надо
A
А мы про hdfs?
A
Хм, а данные как хранить, что как fs используется?
ME
s3 и прочее
R
Если мой вижн, то есть
1) клауд решения от большой тройки, которые решают ряд задач, которые раньше решались только на hadoop.
2) для тех кто не может в паблик клауд, есть закрытие облака с кубером.
Наверное, хадуп останется для каких - то задача.
1) клауд решения от большой тройки, которые решают ряд задач, которые раньше решались только на hadoop.
2) для тех кто не может в паблик клауд, есть закрытие облака с кубером.
Наверное, хадуп останется для каких - то задача.
A
А есть примеры компаний, где s3 уже подвытеснил/заменил hdfs?
A
Мы, наверное, о разном: я о hdfs
ME
От самого апача, кстати, обжект стор есть, озон
ME
ответ на популярность S3, наверное)
A
Посмотрел на hh вакансии дата инженера, hadoop, hive и прочее, мб постепенно переходят
A
У нас вот движения к s3 не замечал
R
Их много, можете в блоге aws просмотреть. Я на прошлом проекте использовал s3, вместо hdfs. В аналитике в небольших компаниях - это очень частое явление.
A
Да да, вы правы, скорее в небольших компаниях, на старте выбирают s3, так наверное
A
Спасибо!
ME
