зачем туда идти
целая куча людей пишет тулы для замены дата инженеров, включая крупняк
в итоге профессия идет к выставлению стрелочек источник-хранилище в закрытых тулах
эти тулы стоят целое состояние для компаний, посмотрите на SAS, и что бы что то изменить допустим в SAS DI(сам не работал, коллеги рассказывали) нужно кучу зависимостей поменять. А допустим в Airflow на питончике можно закодить так и сервисов в кучу навешать, что где нибудь в метадате просто добавляешь название системы и таблицу, а оно само начинает грузить :)) - утрированно конечно ) и это будет стоить намного дешевле