GK
Логи до сих пор многие хранят в реляционках, и даже файлы)
Да, вообще-то) но мы же о больших данных говорим?
Size: a a a
2019 November 15
PG
Заметил, что для каждой задачи стали появляться свои удобные средства и вроде как уже нет потребности большой в хадупе, тем более что хранилища метаданных стали мультисервисными, сети лучше, облака мощнее. Как думаете, отомрет через пять десять лет?
GK
Нет конечно, не отомрёт
GK
Потому что пока только на Hadoop удобно и дёшево строить Batch и Serving слои Lambda архитектуры
GK
В Hadoop удобно загружать и хранить сырые данные, выполнять трансформации и вычисления на петабайтах данных
GK
Имею ввиду экосистему Hadoop
GK
Что может убить именно Hadoop?
GK
И что такое Hadoop?
PG
Если говорить в классическом варианте, то это файловая система
GK
Очень упрощённо, Hadoop - это HDFS, YARN и Map Reduce
PG
Потом начала обрастать утилитами для манипулирования данными в этой фс
PG
Потом эти утилиты стали работать не только с hdfs - и теперь я не знаю что можно причислить к экосистеме именно хадуп, имхо эксклюзива почти не осталось
GK
Если говорить в классическом варианте, то это файловая система
Да, но очень специфическая. Она хорошо подходит для хранения больших файлов. Относительно небольшого числа больных по объёму файлов
GK
Потом эти утилиты стали работать не только с hdfs - и теперь я не знаю что можно причислить к экосистеме именно хадуп, имхо эксклюзива почти не осталось
Точно, но есть нюанс
GK
Что может стать конкурентом HDFS?
PG
Облака и что там развернуто
GK
Облака и что там развернуто
Нет
GK
Объектные хранилища.
FL
Что может стать конкурентом HDFS?
S3 + Databricks Delta, например
GK
И облачные сервисы поверх объектных хранилищ