Size: a a a

2021 May 10

SK

Stanislav Kartaev in Data Engineers
/multitenancy
источник

AZ

Anton Zadorozhniy in Data Engineers
"люди не кликают по линкам просто так в интернете"
источник

SO

Simon Osipov in Data Engineers
А почему бы не запускать одноразовые выполнения без втаскивания этого в сервис для шедулинга? Прям командой с локальной машины
источник

AZ

Anton Zadorozhniy in Data Engineers
ну пайплайн может много шагов выполнять, ему секреты могут быть нужны, рестарты всякие
источник

A

Alex in Data Engineers
в кубик доступы ограничены
зачастую только через впн и далеко не у всех, плюс на перестройке кластеров у вас и имена тоже может быть разный
источник

AZ

Anton Zadorozhniy in Data Engineers
это норм что джобы которые запускаются один раз толкаются через планировщик, почти каждый  MLOps так устроен
источник

AZ

Anton Zadorozhniy in Data Engineers
единственное что в плане управления ресурсами куб очень примитивен, там только лимиты, никакого динамизма
источник

S

Stanislav in Data Engineers
Сколько у вас энвов для аф? Стандартно дев-стейдж-прод?
Боль полная с аф, особенно конкуренция за директорию дагов между фича бранчами.
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Дев и прод и нет конкуренции, я разрабам грамотно все сделал для этого
источник

S

Stanislav in Data Engineers
Как?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Ветка для дева
источник

S

Stanislav in Data Engineers
Все разрабатывают в одной ветке? А как происходит мердж в прод?
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Я не сказал, что все разрабатывают в одной ветке
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Если разрабу надо выкатиться, то он просто мерджит в нужную ветку, в зависимости, какой стейдж нужно
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Раздел "что мы хотим делать дальше"
источник

S

Stanislav in Data Engineers
Дев выглядит страшновато, много мерджей, но проблему конкуренции это конечно снимает.
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Что значит много мерджей? В мастер на прод будет +- столько же
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Конечно если разрабы по 100500 касяков делают, то да. У нас, например, на airflow соотношение прод-дев 1 к 1.2 где-то, а вот в двх все печальнее, там 1 к 5 почти...
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Ну и понятное дело, надо будет еще на уровне своей vcs решать проблемы рассинхрона веток, актуализации и прочего, но в целом там все не сложно, а процесс для разрабов сводиться почти к минимуму
источник