SB
он на аргументы не ведется
Size: a a a
2019 November 07
VE
кажется что в дата менеджменте кубер это вообще не про релизы, а про изоляцию, скейлинг и ML
VE
то есть как хадуп но лучше
VE
и мультклауд ещё в придачу
N
Клаудера же ещё сделала импалу и hive LLAP на кубере 🤣
Боже, кто-то пользуется LLAP?
VE
хочешь запускай на гугле, хочешь - азур. Надоело, всё вернул он прем
VE
Боже, кто-то пользуется LLAP?
ну у них же куча кастомеров, уверен что ктот да пользуется.
Они вообще когда показали что они практически все технологии в себя вобрали, я засомневался а смогут ли они вообще это всё тянуть вместе
Они вообще когда показали что они практически все технологии в себя вобрали, я засомневался а смогут ли они вообще это всё тянуть вместе
A
то есть как хадуп но лучше
ну у них немного разные задачи как по мне
никто не запускает сервисы в хадупе
ну и в вычислительные по объему перемалываемых данных в хадупе получше (hbase на hdfs-локальных дисках будет быстрее чем если еще один уровень с мэпингом этих дисков в remote storage через пачку прослоек рулить)
никто не запускает сервисы в хадупе
ну и в вычислительные по объему перемалываемых данных в хадупе получше (hbase на hdfs-локальных дисках будет быстрее чем если еще один уровень с мэпингом этих дисков в remote storage через пачку прослоек рулить)
VE
ну hbase да, я например про sql энджины (престо) и спарки
VE
и DS вский на пайтоне
A
престо не знаю
spark умеет и по сравнению с s3 есть фидбек что с hdfs он заметно шустрее
spark умеет и по сравнению с s3 есть фидбек что с hdfs он заметно шустрее
VE
да этож не только скорость важна,
у нас есть заказчик который сидит со spark 2.2
у нас есть заказчик который сидит со spark 2.2
VE
уже на кучу багов натолкнулись
VE
а апгрейднуть - никак
СХ
хочешь запускай на гугле, хочешь - азур. Надоело, всё вернул он прем
не всё так просто, например докер не может кучу параметров ядра, особенно связанных с выделением кешей и размеров их, в итоге потом читаешь как некоторые кадры засунули в кубер монги\кассандры\гринпламы\пг и там же сервисы, а потом бах, смена всего отдела девупсов
VE
с кубером теоретически бы таких проблем не было, так как спарк можешь какой хочешь использовать
VE
не всё так просто, например докер не может кучу параметров ядра, особенно связанных с выделением кешей и размеров их, в итоге потом читаешь как некоторые кадры засунули в кубер монги\кассандры\гринпламы\пг и там же сервисы, а потом бах, смена всего отдела девупсов
ну всё как у всех хайповых технологий, давайте ВСЁ ВСЁ ТУДА ПЕРЕНЕСЁМ, конечно это остынет неможко
VE
думаю с хадупом тоже так было
A
не понимать
что мешает вам запускать любой спарк на хадупе
что мешает вам запускать любой спарк на хадупе
UD
а апгрейднуть - никак
Чет сложно