AZ
заменяет import jinja2 😊
Size: a a a
2021 March 29
R
ELT инструмент, для описания трансформаций на SQL, с параметрами и прочим
+
чисто теоретически, конечно же можно все написать homemade python + jinja
чисто теоретически, конечно же можно все написать homemade python + jinja
R
но тут классическая картинка про троллейбус
AZ
+
чисто теоретически, конечно же можно все написать homemade python + jinja
чисто теоретически, конечно же можно все написать homemade python + jinja
R
есть еще https://www.prophecy.io/
но там подход немного другой, не чисто SQL-based, и они не OSS
но там подход немного другой, не чисто SQL-based, и они не OSS
NN
Понял, ребят, спасибо. Почитаю :)
b
А dbt чем нравится? Для чего он нужен, что заменяет?)
Удобно отслеживать зависимости между источниками данных и моделями. Удобно работать с шаблонами (+ куча прикольных шаблонов из коробки), здесь же тесты в одном месте. Ну и когда работаешь с моделями dbt, как мне кажется уровень абстракции выше нежели чем напрямую работать с таблицами, что есть хорошо.
ПФ
TIL у Huawei есть свой дистриб хадупа
ПФ
FusionInsight
2021 March 30
K
Реята, которые используют dbt , скажите как вы живете и отлаживаете эти все макросы и простыни sql кода? Неужели нет желания делать etl типизированым?
EK
Судя по вакансиям, бестиповые языки и инструменты уже давно развили вторую космическую скорость в ДЕ. Так что, видимо, желания нет)
K
я прост не понимаю
K
как это все отлаживать?
NN
как это все отлаживать?
А как это в старые времена делали?
N
Реята, которые используют dbt , скажите как вы живете и отлаживаете эти все макросы и простыни sql кода? Неужели нет желания делать etl типизированым?
На каждую промежутку кейс класс написать?
K
На каждую промежутку кейс класс написать?
Даже если так будет , кода все равно будет меньше
K
Есть и другие способы )
A
Реята, которые используют dbt , скажите как вы живете и отлаживаете эти все макросы и простыни sql кода? Неужели нет желания делать etl типизированым?
То-то spark sql выжирает большую часть всех случаев использования спарка :)
И они активно ansi к нему прикручивают
И они активно ansi к нему прикручивают