ну кмк это от окружения зависит.
Если у вас в графе airflow будет только create table, spark-submit, create index, то я не вижу смысла описывать все это в графе airflow, можно и spark-job засунуть

если у вас уже есть airflow graph и там такого добра валом, то можно и там сделать

Андрей очень злой

Это не важно, все равно так будет быстрее. В случае новой таблицы то индексы лучше после заливки добавить, а где именно это дело вкуса

кмк проще отдельным таском в эйрфлоу, а мб и вообще отдельным дагом, если у вас регламенты позволяют (сначала все льем, потом собираем статистику и строим индексы)

часто эти оптимизации для читателей разрабатываются отдельно от процессов заливки, и шипить новый новый джоб когда вы просто добавили сбор статистики по колонке мб лишним

в оракле делают стэйдж слой, туда заливают, создают индексы, собирают статистику, потом делают короткую операцию exchange partition с новой партицией целевого отчета

Добрый день. У меня есть вопрос связанный со скалой и спарком.
Я не большой спец по скале и спарку и местами не понимаю что происходит.
Есть такая строчка полученна из доков вертики, которая должна писать спарк датафрейм в вертику:

df.write.format("com.vertica.spark.datasource.DefaultSource").options(opt).mode(mode).save()

Где то внутри она использует jdbc.
Вопрос в том - могу ли я подсунуть ей как то, явно или не явно, параметры jdbc дравйвера?

это не столько к спарку относится, сколько к вертике, вам нужно смотреть как устроен этот формат и как он берет конфигурацию jdbc

если код открыт конечно же

и можно ли его подменить/переопределить

по-моему они не открывают доступ к jdbc string напрямую в своем Default Source, все параметры изложны в документации, за остальным - в поддержку https://www.vertica.com/docs/10.0.x/HTML/Content/Authoring/SparkConnector/WritingtoVerticaUsingDefaultSource.htm

как вариант - взять джарник, декомпильнуть и посмотреть

код закрыт

это все интересно но уже несколько дней бьюсь над этими задачами, сейчас уже хочется чтоб просто заработало )

не уверен что даст результат

Написать в поддержку вертики)

возможно придется подгонять параметры под то что ждет этот формат

да уже с ними общаюсь, но они тоже не все знают