AZ
Нууууу, у нас хдфс и много, плюс импала активно используем
ну вот, быстрая миграция на сеф/стендэлоун хайв/престо и все проблемы решены (и начнете решать новые) 🙂
Size: a a a
2019 December 31
GP
Напомните, а была "программа" развития после мержа без булшита
по-моему они ничего явно не говорили
A
@pomadchin у нас была клоудера, но древняя как говно мамонта, вроде как 5.8.х
Сейчас переезд на новый хадуп, дц, керберос (пошли вопросы безопасности уже)
В итоге вроде как админы сразу выбрали амбари от хортона и даже раскатали сервисы 3.1.х какие-то, но hadoop (hdfs+yarn) уже повторно раскатаны из апстрима 3.2.0 или 3.2.1 не помню
Вот подумывем и хайв может перераскатить из апача
Сейчас переезд на новый хадуп, дц, керберос (пошли вопросы безопасности уже)
В итоге вроде как админы сразу выбрали амбари от хортона и даже раскатали сервисы 3.1.х какие-то, но hadoop (hdfs+yarn) уже повторно раскатаны из апстрима 3.2.0 или 3.2.1 не помню
Вот подумывем и хайв может перераскатить из апача
СХ
есть еще хопсворкс со своей неймнодой поверх мускл кластера и аутентификацией по сертификатам 🙂
есть вообще люстра
GP
@pomadchin у нас была клоудера, но древняя как говно мамонта, вроде как 5.8.х
Сейчас переезд на новый хадуп, дц, керберос (пошли вопросы безопасности уже)
В итоге вроде как админы сразу выбрали амбари от хортона и даже раскатали сервисы 3.1.х какие-то, но hadoop (hdfs+yarn) уже повторно раскатаны из апстрима 3.2.0 или 3.2.1 не помню
Вот подумывем и хайв может перераскатить из апача
Сейчас переезд на новый хадуп, дц, керберос (пошли вопросы безопасности уже)
В итоге вроде как админы сразу выбрали амбари от хортона и даже раскатали сервисы 3.1.х какие-то, но hadoop (hdfs+yarn) уже повторно раскатаны из апстрима 3.2.0 или 3.2.1 не помню
Вот подумывем и хайв может перераскатить из апача
думаю сейчас имеет смысл задуматься над своей оркестрацией хадуполайк; а то вечно к этим дистрибутивам привязываться. всем понятно было куда дело идет - приватность и $ за услуги
A
ну вот, быстрая миграция на сеф/стендэлоун хайв/престо и все проблемы решены (и начнете решать новые) 🙂
12PB и по этому потом престо гонять ;)
С престо была проблема что она спилить на диск не умела, а некоторые запросы слишком тяжёлые
С престо была проблема что она спилить на диск не умела, а некоторые запросы слишком тяжёлые
UD
по-моему они ничего явно не говорили
Пока думаю над количеством боли, если съезжать на ванилу
A
@pomadchin так к этому и идёт, год назад я и настаивал на осс сборнке, админы правда заюзали хортон так как проще было на него пакеты сразу под амбари найти, но как уже сказал: сам хадуп уже с апача
GP
Пока думаю над количеством боли, если съезжать на ванилу
а какая будет?
UD
Типа, ой можно нам спарк, престу, хайв с импалой с боку
UD
И докеры в ярне
A
Ты не поверишь :)
A
У нас и докеры в ярне есть и импала в этом недохортоне
AZ
12PB и по этому потом престо гонять ;)
С престо была проблема что она спилить на диск не умела, а некоторые запросы слишком тяжёлые
С престо была проблема что она спилить на диск не умела, а некоторые запросы слишком тяжёлые
Для текущего престо не проблема, а летом добавили ещё и сжатие с шифрованием для спила, все счастливы
UD
а какая будет?
Ну, я не кор разраб, начерепикать могу, не более
A
Нужно будет перепроверить
GP
Ну, я не кор разраб, начерепикать могу, не более
ты имеешь ввиду бекпортить фичи?
UD
ты имеешь ввиду бекпортить фичи?
Да, и фиксы
GP
да просто будете версию апать
