GK
А принципиально то, что есть сценарии, когда данные удобно хранить в больших файлах, которые можно быстро вычитывать частями параллельно для массовых трансформаций/вычислений
Size: a a a
2019 November 15
GK
Теперь внимание
GK
Речь идёт о splitable форматах, то есть именно тех форматах, в которых данные хранят в HDFS
GK
Вот и всё собственно
GK
Если вы строите озеро данных большой корпорации или гос. учреждения и вам нужно иметь хранилище первичных данных, часто с поддержкой историчности, там где это возможно, то альтернатив у Hadoop нет
GK
А много ли других кейсов связанных с большими данными?))
GK
И да, конечно там будет далеко не только Hadoop
GK
Больше того, в комплексных транзакционно-аналитических решениях используются и прекрасно дружат как S3 так и HDFS
PG
В последние годы стало больше альтернатив. Например логи можно в кликхаус сложить, файлы в условный ceph. Остальное неплохо ляжет в аналитические хранилища
GK
Конечно
PG
Сейчас как раз интересно, что будет развиваться с годами
GK
Вопрос как потом это всё это собрать вместе
GK
Сейчас как раз интересно, что будет развиваться с годами
Всё
GK
Мы последние годы строим комплексные решения, в некотором смысле на Lambda архитектуре
GK
И используем всё из перечисленного выше. И понимаем, что Ceph, HDFS и Clickhouse - не конкуренты, а партнёры
GK
Мы - это я как архитектор и разные команды разных проектов
GK
Еду в сапсане могу писать)
GK
Поделюсь одной мыслью
GK
Тут какие-то интересные ребята напугали интернет новостями о смерти хадупа. Клаудера упала в цене, не помню точно, в три раза вроде
GK
И это связали со смертью хадупа