GK
А что такое клаудера?
Size: a a a
2019 November 15
GK
Да, конечно сообщество и вклад в экосистему
2019 November 16
GK
Но как продукт - некий инструмент, выполняющий единственную задачу, упрощение оперейшенс, то есть развёртывания и эксплуатации экосистемы
GK
GK
Когда я смотрел как они растут и какие у них пышные конференции, думал, за чей счёт банкет
GK
Лично я связываю падение клаудеры не со смертью хадупа. Банально лопнул пузырь
GK
Так, развиваться будет всё из перечисленного, но хадуп медленнее всего, потому что он довольно простой и достаточно зрелый
GK
Ключевая мысль. В озере данных данные уже собраны в RAW слое, хранятся в HDFS, в больших файлах, которые легко вычитывать большими порциями параллельно, причём близко к вычислениям
GK
Если хранить данные в объектных хранилищах, кликхаухе, эластике и где-то ещё, их нужно будет собирать, причём по сети, причём массово (select *)
GK
А в Serving слое хранятся агрегаты, которые уже рассчитаны на больших данных, и эти агрегаты тоже могут быть довольно большие
r
Лично я связываю падение клаудеры не со смертью хадупа. Банально лопнул пузырь
Очень хорошая статья по теме
https://www.jesse-anderson.com/2019/06/i-come-not-to-bury-cloudera-but-to-praise-it/
https://www.jesse-anderson.com/2019/06/i-come-not-to-bury-cloudera-but-to-praise-it/
GK
Можно в 3-х словах суть?
r
имхо, клиенты хотят тупо сервис по подписке, желательно без программеров, клоудера не может этого дать
GK
Есть ещё конечно общая проблема извлечения валуя из больших данных. А если говорить откровенно, то монетизации данных. Но технологии то тут ни при чём. Просто спал хайп, ну и прекрасно.
GK
rubonz
имхо, клиенты хотят тупо сервис по подписке, желательно без программеров, клоудера не может этого дать
Пусть и дальше хотят.
GK
Типа, мы не уверены что извлечём валуй из наших данных, кластера онпрем покупать стрёмно, дайте подписку
E
Пусть и дальше хотят.
Ты в поезде обратно что ли поехал, чтобы ещё написать что-нить? :) Кстати, спасибо за написанное. Мы тоже недавно обсуждали Hadoop и сходу ничего не придумали альтернативного для батч обработки больших файлов
GK
Ты в поезде обратно что ли поехал, чтобы ещё написать что-нить? :) Кстати, спасибо за написанное. Мы тоже недавно обсуждали Hadoop и сходу ничего не придумали альтернативного для батч обработки больших файлов
Я уже в метро))
GK
Но озёра данных часто не про монетизацию данных. Иногда сразу понятно, что кластера точно будут утилизированы вдолгую
GK
Точнее, далеко не только про монетизацию даты напрямую