почему?

за месяц эксплотации пока не увидел если честно

если он и дальше в массы пойдет, скоро появится подвид найфай-девелоперов

:) вот оно че

Митапы уже есть

ну он все ресурсы вычислительные завязывает на себя, все механизмы завязывает на себя

там где можно было бы использовать несколько адекватных инструментов, будет ровно один (и как точка отказа тоже)

гуй - помойка джобов

результаты все промежуточные сваливает на диск

я в свое время, когда пробывал, то ждал что он решит проблему помойки джобов и будет все описано в одном месте

но одно место оказалось слишком буквально одним

Конфигурационные передиваторы делаются из спарка

Добрый день. Есть один волноющий вопрос по hive  и spark metastores. Подскажите пожалуйста. Как известно в hadoop 3 hive и spark теперь не имеют общего metastore.
Для доступа к metastore hive из spark рекомендуется использовать hive warehouse connector. Вопрос - что будет если вместо metastore.catalog.default = spark поставить metastore.catalog.default = hive в настройках spark? Будет ли корректно работать spark при такой настройке, нет ли каких либо подводных камней? Кто-то так пробовал?

не будут корректно читаться / писаться ACID таблицы Hive, все остальное работает корректно

спасибо

я не видел ни одного большого кластера где использовались бы два каталога, обычно все живут в одном и либо не используют ACID либо ограничивают Spark от ACID политиками / ACL

Спасибо, моя тревожность теперь намного меньше 🙃

@dartov а можешь что подсказать по  hive.strict.managed.tables?

С дефолтным true стандартные create table  в спарк sql летят, а вот без стрикта насколько опасно лететь?

боюсь соврать, там были проблемы с переопределением ее на уровне сессии.. в спарке с поднятым стрикт у тебя формат орц должен работать, а вот скажем паркет зафейлится.. если на кластере поднят стрикт то я бы вообще не делал менеджд таблицы из спарка, использовал экстернал

Просто у нас по коду много где просто таблицы набрасываются, а потом партиции добрасываются как екстернал. А создание сразу екстернал требует и код поправить и локейшен указать

(у нас есть процесс по компакшену файлов в партиции, чтобы не ломать ничего пишется в новое место, а потом меняется в мете куда она указывает, позволяет не крешить текущие запущенные выборки из таблиц что файл/блок не найден)

Ну и у нас почти все в паркете, спасибо импале

выключите напрочь просто стрикт на кластере и все

да, компакторы такие практически у всех есть, одна из причин держать все в экстернал таблицах)

Ясно, просто оставлять включенным это надо будет во многих местах и либах код править... Вот и думал как минимизировать и насколько это опасно