I
В корзине?
😇👌🏻
Size: a a a
2020 November 02
I
бац и 12 гигов освободило )
A
Коллеги, кто-нибудь использует Apache ozone?
AN
Добрый день!
А есть ли какое-нибудь API, с помощью которого можно завести много юзеров в HUE?
А есть ли какое-нибудь API, с помощью которого можно завести много юзеров в HUE?
S
лдап
S
прекрасный апи
N
Если такие есть то интересно их послушать
До прода не дошло. На больших объёмах пресловутый мердж не вывозил. Просто очень долго было. А крутилок каких-то особых нету. Отказались в пользу худи. Гораздо более зрелое решение.
N
Попутно пишем в айсберг, чтобы накопилось побольше данных и можно было погонять бенчмарки какие-то, сравнить производительность на разное чтение.
N
Добрый день!
А есть ли какое-нибудь API, с помощью которого можно завести много юзеров в HUE?
А есть ли какое-нибудь API, с помощью которого можно завести много юзеров в HUE?
Группы заводи. И синхри их через sssd. Потом юзеров просто в группу пихай.
AZ
Попутно пишем в айсберг, чтобы накопилось побольше данных и можно было погонять бенчмарки какие-то, сравнить производительность на разное чтение.
справедливости ради что надо сказать что мердж "как у больших" нормально и айсберг не может, прежде всего потому что пока не умеет засовывать информацию о своих бакетах в спарк; ну и перфоманс только-только начинаем смотреть и чинить...
AZ
если нужно для "хранилищной" логики когда крупную пачку изменений надо смерджить с текущей версией - наверное лучше ванильный спарк использовать (ну или на датабриксе)
AZ
а у худи для стриминга апсерт заточен
N
справедливости ради что надо сказать что мердж "как у больших" нормально и айсберг не может, прежде всего потому что пока не умеет засовывать информацию о своих бакетах в спарк; ну и перфоманс только-только начинаем смотреть и чинить...
Так айсберг вообще в мердж не может.
AZ
Так айсберг вообще в мердж не может.
да, но он и бакетированный джоин не умеет
AT
дорогие мои эксперты, подскажите плиз - Livy может одновременно исполнять multiple statements в одной session? или надо несколько session создавать?
AT
и если надо, то можно ли между ними шарить датафреймы например
N
а у худи для стриминга апсерт заточен
У него есть разные стратегии для таблиц. Есть copy on write когда он вмердживает все в паркет на этапе записи. Это для батча. А есть merge on read, когда новые данные наваливаются рядом в авро и периодически на этапе чтения вмердживаются. Это для стриминга. И есть ещё запросы оптимизированные на чтение и чтение по ключу.
AT
Попутно пишем в айсберг, чтобы накопилось побольше данных и можно было погонять бенчмарки какие-то, сравнить производительность на разное чтение.
во, не забудьте рассказать как оно там - оч. интересно
N
К тому времени Антон уже мердж допилит и айсберг всех победит.