Телеграмм чат группы hadoopusers страница 4393

Привет, есть вопрос по airflow, создаю переменную с помощью datetime.now() + timedelta(seconds=30) и передаю ее в triggerdagrun как аргумент execution_date, дальше передаю ту же переменную в другой таск, и почему-то она изменилась
код на другом ноутбуке, примерно выглядит так

with DAG() as dag:
    file_sensor = FileSensor()
    execution_date = datetime.now() + timedelta(seconds=30)
    trigger_dag = TriggerDagRun(execution_date=execution_date)
    with TaskGroup() as tg:
        check_if_dag_completed = ExternalTaskSensor(execution_date_fn=lambda dt: execution_date)

и в ExternalTaskSensor время на чуть больше секунды отстает

источник

13:46пожаловаться #10

Oleg Ivchenko in Data Engineers

Что именно не нравится?

источник

13:54пожаловаться #11

Dmitry Zuev in Data Engineers

Всего два препода. По сути два курса обо всем.
Зачем то много времени по MR, который уже мне кажется все закопали.
Ни слова про то что можно без хадупа жить.
Hbase зачем то

источник

14:02пожаловаться #12

Anton Zadorozhniy in Data Engineers

Интересно действительно, зачем в общем курсе HBase рассказывать?

источник

14:03пожаловаться #13

Anton Zadorozhniy in Data Engineers

СУБД с очень узкой нишей, которая только сокращается

источник

14:04пожаловаться #14

Oleg Ivchenko in Data Engineers

1. Есть ассистенты, кураторы. Их просто не поместили на лендинг т.к. они меняются от потока к потоку.
2. MR нужен чтоб понять в деталях как работают распред. вычисления такого типа.
3. Hbase как пример того как можно подружить 2 требования:
Hdfs хочет редко писать и работает долго. Бд требует чтоб писали часто и быстро

источник

14:08пожаловаться #15

Oleg Ivchenko in Data Engineers

По поводу жизни без хадупа. Будет спарк и кассандра

источник

14:09пожаловаться #16

Oleg Ivchenko in Data Engineers

Ну и кафки всякие

источник

14:09пожаловаться #17

Dmitry Zuev in Data Engineers

s3? k8s? mesos?