Size: a a a

2020 September 16

DZ

Dmitry Zuev in Data Engineers
плюс композер не дружится со сложными сетями
источник

DZ

Dmitry Zuev in Data Engineers
это было собсна причиной намер ван почему мы съехали
источник

AZ

Anton Zadorozhniy in Data Engineers
у меня два клиента с селфсервис окружениями живут на компоузере нормально, отдельные кластера это преимущество при multi tenancy
источник

AZ

Anton Zadorozhniy in Data Engineers
собсно год уже весь селф сервис работает вообще без опсов (есть один сатанист с опсянкой, его спрашивают иногда)
источник

AZ

Anton Zadorozhniy in Data Engineers
но тут каждому свое
источник

DZ

Dmitry Zuev in Data Engineers
и как они накатывают кастомные операторы?
источник

AZ

Anton Zadorozhniy in Data Engineers
я деталей не знаю, там вроде был в CLI оснастка какая-то
источник

AZ

Anton Zadorozhniy in Data Engineers
composer environments storage plugins import или чот такое
источник

AZ

Anton Zadorozhniy in Data Engineers
я знаю что им очень нравится интеграция с IAM (наверняка делается несколькими строчками ямла в хелм значениях, но их же надо написать)
источник

DZ

Dmitry Zuev in Data Engineers
ну с контролем доступа не будет канешн такого
источник

DZ

Dmitry Zuev in Data Engineers
но в то же время, зачем оно нужно не понятно
источник

AZ

Anton Zadorozhniy in Data Engineers
инфосеки хотят?
источник

AZ

Anton Zadorozhniy in Data Engineers
там разделения по проектам внутри одного окружения, довольно удобно
источник

ДН

Дмитрий Негреев... in Data Engineers
О, заруба про аф, попробую тогда тут вопрос закинуть)
Кто все компоненты airflow держит в кубике, у вас насколько большие инсталяции?
Какие ресурсы выделяете под шедулер больше всего интересно.
источник

DZ

Dmitry Zuev in Data Engineers
Держим все, если что у нас селери
источник

DZ

Dmitry Zuev in Data Engineers
С шедулером какие-то проблем не было.
источник

DZ

Dmitriy Zaytsev in Data Engineers
Держим всё, без селери.
Limits:
     memory:  32Gi
   Requests:
     cpu:      6
     memory:   8Gi
источник

DZ

Dmitriy Zaytsev in Data Engineers
Проблем тоже нет, брат жив
источник

DZ

Dmitry Zuev in Data Engineers
Зачем так много?
источник

DZ

Dmitry Zuev in Data Engineers
Скок у вас джоб в час?
источник