GK
S3 + Databricks Delta, например
Да
Size: a a a
2019 November 15
PG
Конечно, в нашей стране это не очень, но в целом там есть ряд решений, реализованных по похожему принципу
GK
Продолжу мысль
FL
Map Reduce уже давно мёртв, YARN дотухает, HDFS тоже уже легаси
FL
Что осталось от хадупа? :)
GK
Да, но нет
GK
Продолжу мысль
PG
+ в облаках дешевле стоимость аппаратных ресурсов, чем у себя. А хадуп именно этим выделялся
GK
Для чего хорошо подходят облачные хранилища?
GK
В чём ключевое отличие S3 от HDFS?
GK
+ в облаках дешевле стоимость аппаратных ресурсов, чем у себя. А хадуп именно этим выделялся
А вот и нет
GK
Далеко не всегда
PG
Ну это как везде, в чистой стоимости не всегда. Но соотношение стоимости и профита и велосити в целом выше
GK
Ну это как везде, в чистой стоимости не всегда. Но соотношение стоимости и профита и велосити в целом выше
В целом, но только не при хранении большого объёма сырых данных и последующей их массовой обработкой со значительной утилизацией почти всех ресурсов кластеров почти 24 часа в сутки
GK
Итак, в чём разница?
GK
S3 - это REST протокол к объектным хранилищам
GK
В объектных хранилищах удобно хранить большое число мелких файлов, ортогонально HDFS
GK
К чему это приводит?
GK
К тому, что загрузить данные в объектный стор можно только одним способом - посредством S3, то есть через REST
GK
Но это не принципиально