Пока не нашли :(

Слышал в одноклассниках такие

Ну мы не такие модные, как одноклассники

Впрочем,  я в принципе стараюсь нанимать людей с прямыми руками,  вне зависимости от лычки,  но это не делает процесс проще :)

Какая фича какой вклад вносит их лид должен знать. Де эти знания как то без нужды.

А про докер вы зря. Напишите обёртку, настройте сборку и забудьте на время

черт, пропустил весь джентельменский замес...

После того как перезаписал партицию в hdfs ошибка-java.io.FileNotFoundException: File does not exist:
. Рефреш каталога делал-не помогает

дяденьки!
вам когда в ваши хоронилища/болота данных прилетают древовидные вложенные структуры - вы их в silver/curated-слой кладете так же вложенными?
или раскидываете на разные сущности-таблицы?

опять неуловимый аромат датавольта, не?

а если раскидывать одной спарк-жобой по разным целевым таблицам, то как достигать атомарности всех save()?

(у Apache/Uber Hudi формата есть возможность rollback...)

В дата волте это как раз не очень страшно

Тут вопрос вообще о подходе. У кого-то есть "детальный слой", кто-то его отрицает.

В какой-то старой статье про Тинькофф было что оно из лейка потом дата волт собирают. Чуваки из Али в третьем поколении своего двх тоже что-то такое делают. Но большинство разговоров которые я слышу среди тех кто варит хадуп и спарк, это избегание дата моделинга и тупо сразу витрины

Никто не заморачивался поиском инструмента для сохранения сессии БД?
Типо livy для спарк сессии.

Типа pgpool?

Похоже на то, только нужно для вертики.
Мне нужно несколько темповых таблиц процессом заполнять, хотелось бы каждую таблицу в отдельной таске airflow заполнять.
Но xcom к сожалению не умеет запиклить сессию БД.
Интересно возможно ли это сделать не средствами аф, просто ходя в какую-нибудь апишку например.

Что конкретно запускается а аф?

Таска из разряда поднять сессию в БД, взять файлик с запросом и запустить в базе.
Просто insert as select.
Перед тем как insert делаю в реальную таблицу, есть еще несколько запросов со вставкой в темповые, которые используются как промежуточные вычисления.
Т.к. им одна сессия нужна, я щас в 1 таске аф их просто в цикле друг за другом запускаю, но это кажется не очень красиво.
И перезапускать не хочется все с начала, если что-то по-середине померло.

И насколько там сильные тормоза из-за нового коннекта?

От всего времени исполнения