Ого, Спасибо!👍🏻

Запятая

вопрос про то кто так рулит доступами в своих объектных сторейджах

у хадупа есть делегейшен токены
у aws имеется sts, чтобы если что даже имперсонейшен сделать + интеграция с хадупом и все дела

а что делать в случае minio?
(в нашем случае правда это даже vast data)

у них я ничего подобного найти не могу

сейчас у нас керберос на хадупе

и вот смотря на это всё "вы должны забивать access/secret key в приложении" у меня слёзы что-то наворачиваются

так, у minio есть такой же STS как и у амазона

Это как ?

в облаках у тебя есть коннекторы для того чтобы он сам для хадупа роли вставлялся и креды на бакет нужные в зависимости от кого таск запущен
причём запрашиваются временные токены, так что даже если пользователь и сдампил его куда, то он издохнет вскоре
через sts + AssumeRole сделаны

для кубика которого сам менеждишь есть Kube2iam которые линкуется к sts и тоже инжектит все токены от AssumeRole

вот нашёл что для minio они тоже прикрутили sts свой (что-то я его сразу не заметил был)

Ребят, запустил scheduler в airflow и Даг из тутоиала официального, почему я не вижу работу дага в логах ? Почему не работает ?

там коричневым по желтому написано что шедулер не запущен

А я скриншот опубликовал , что запущен

Маленькое окно

Всем привет!
Есть такой вопрос
у меня есть Pub Sub в котором хранятся месседжи с конфигами для тасков
Airflow раз в час запускает dag и я хочу чтобы для каждого сообщения запускался таск. как это можно реализовать ?

позволь мне за тебя погуглить, первая ссылка
https://stackoverflow.com/questions/52558018/airflow-generate-dynamic-tasks-in-single-dag-task-n1-is-dependent-on-taskn

Тут скорее проблема в том, что при запуске цикла массив сообщений еще не существует

так ты их считываешь при запуске дага, что накопилось за час, то и запускаешь

чувствую сейчас себя достаточно глупым, но спасибо

Ребят, как сохранить файл с именем текущей даты ?