Ллап норм работает, но только на мелких запросах

Тез хорош, намного быстрее MR, но он не ориентирован на мощности в 16Гб 😁

Там куча оптимизаций

Ровно до момента ошибки оптимизатора

После которой таска превращается в тыкву вместо результата в мр. А делает он часто так

Да и сильно быстрее ли

Да. Но у вас же 1 большой источник?

Почему не кх?

конечно же это не так

https://github.com/apache/hive/blob/master/common/src/java/org/apache/hadoop/hive/conf/HiveConf.java#L4027-L4030

mr убран из выбора на UI в hdp3
но в хайве и кодовой базе он остался

поэтому явное включение позволяет ему работать

Я чет запутался ))
Знач в теперешней беспл. клаудере 6.3 хадуп2 и MR2.
В третьем хадупе тез?
Третий хадуп у кого?)..
В общем, мне хранить архивы и скачивать их с оракла через стримсетс , встроенный в клаудеру 6, в паркет, очень даже норм. Все устраивает, думаю, когда памяти будет поболе, то я тяжелые запросы норм будут выполняться...
А в будущем, если что, заберу паркеты в другое место...
Или есть в моих рассуждениях явные провалы, что скажете?

К сожалению, нет :(

у вас какая версия хайва?
если от хортона то я не удивлюсь, так как они его патчили жестоко
причем патчи некоторые в апстрим не вошли так как вызывают косяки, но в хортон их включили ради других вещей

поэтому даже стартовав с HDP мы быстро снесли хортон хайв и накатили апачевскую версию

Э... ну да, ну как большой, просто хочу из рабочей бд в оракле забирать инфу в архив, в оракле дорого и не надо всеиэто держать.
А кликхаус нам не читали на курсах по DE )))
Взял пока, что читали и с чем был знаком, клаудеру, хадуп...)

Вот вот, хдп от 3.0.1 до 3.1.4. Радует, что в ваниле ещё можно жить.

6.x ветка вышла ещё до поглощения, там остался хайв старый, клоудера никогда норм вещи на него не предлагала, хотите процессить используйте импалу, хайв только как метасторейдж у них. клоудера так же была спонсором разработки спарк енжайна для хайва, так как люди не все хотели уходить на импалу, но и mr это уж очень легаси

хортон продолжал пилить имеено хайв, вливал оптимизации, запилил tez, llap и тд. транзакции в хайве (в импале их не было)

на момент покупки был выбор между hive+tez+llap(для быстрых запросов)+transaction vs impala

ну ещё у хортона обычно более свежии версии компонентов были
клоудера упирала на стабильность (пускай и говно мамонта, но стабильное говно)

то есть выбор дистрибутива сразу диктовал стек который будет доступен и фичи которые доступны в компонентах

End of life когда у этой клаудеры? В этом году или в следующем?

про клоудеру 7ю не знаю, поэтому не скажу что там по компонентам

Это сарказм?) Или там как в убунте есть lts и не lts?)
Взял последнюю версию из бесплатного...

кластер на пару сотен машин с клоудерой 5.8 всплакнул в уголку