наверное слишком много хочу

например у меня есть хранимка которая нативно считает гистрограмму в самой базе, я хочу чтобы это можно было просто сделать в суперсете

наверное это уже переходит черту между отчетным средством и ноутбуками

Если есть дата пайплайн в виде aws step function, lambda, glue, как это лучше привязать к Cloud Formation? Наши девопсы предлагают использовать service catalog, где для всех случаев жизни создается портфолио с продуктами и стэками, которые имеют шаблоны в индивидуальном git repo. Вот здесь я запутался, как теперь мне эволюционировать свой пайплайн если всё разбросано по разным репозитариям. Наверное нужен какой-то связующий элемент в репозитарии пайплайна, который будет указывать на внешние зависимости?

Народ, а кто сможет объяснить в чем разница между data engineer и etl разработчик? В интернете между ними часто ставят знак равенства. А вы как думаете?

Не подскажете, а бывшим DBA насколько сложно зайти в DE? Также имеется небольшой опыт разработки на Java.

Это диметрально противоположные профессии.

Хороший кодер-плохой одмен

И наоборот

Я думаю, что никакой. Формально ETL - просто один из концептов обработки данных в рамках data engineering. По факту на конкретном месте работы практики могут отличаться.

Есть "радикальные" случаи - инженер данных занимается консолидацией и интеграцией источников в хранилища, и ничего не знает про бизнес-смысл.
ETL-разработчик всегда знает про бизнес-логику, т.к. программирует слои и витрины данных, где есть продиктованная бизнесом методология расчётов

Не намного сложнее, чем разрабу или аналитику, я считаю. Ибо не рокет сайенс в 90% случаев.

Кто будет это все выкатывать и поддерживать?

Приходи вечером в клабхаус как раз будем обсуждать

Спасибо большое, постараюсь зайти потом в клабхаус👍

У нас изначально было всё наоборот😆

В итоге всё свелось к тому, что данные все изучили, потому что без этого оказалось никак😆

Девопсы, но я не хотел бы попадать к ним в кабалу, чтобы каждое добавление бизнес логики давалось с боем.

разные случаи бывают. но при масштабировании разработки неизбежно будет возникать специализация. потому что оказывается, что для привоза данных надо 5 инженеров, а для удовлетворения потребностей бизнесовых витрин - 30 человек.

Ci/cd тоже они поверх строят? Если да то я бы советовал делать как они просят