АЖ
Size: a a a
2021 July 14
ЕГ
Вы чё там даги тоже в космос запускаете?😆
ЕГ
Одну либу написать, которая даг из джисона собирает, и больше вроде ничё не надо)
AZ
Flyway есть еще
DZ
Shmig
АЖ
дык если у тебя 100 реп и в каждой у дага свои зависимости по питонячьим либам или даже по версиям спарка?
АЖ
у нас, кстати, не так :)
ЕГ
Все зависимости не у дага, а у тасков, даг чисто запускалка
АЖ
ну окей, у тасок :)
ЕГ
А там у каждого дага может быть свой венв для исполнения, хоть первым таском разворачивай его)
АЖ
ну вот и накладные расходы появились :)
VS
VS
Еще dbt модно сейчас, посматриваем на него активно
АЖ
а по тестам скулей есть чо?
АЖ
а то вон те же Дремио позиционируют себя уже как менеджер пайплайнов по созданию витрин
АЖ
а ты потом смотришь на оомы и плачешь в углу
VS
Dbt умеет, на liquibase мы тоже реализовали вызов, но там интеграционные
АЖ
круть
АЖ
пощупаю на досуге