Size: a a a

2020 September 16

IB

Ivan Bruzgin in Data Engineers
Там же отдельно запускаются airflow webserverи airflow scheduler
источник

PA

Panchenko Andrey in Data Engineers
Ну так написано что шелуллер не запущен?
источник

PA

Panchenko Andrey in Data Engineers
Что в теременале показывается?
источник

PA

Panchenko Andrey in Data Engineers
В линуксовом при вызове сервиса?
источник

ДН

Дмитрий Негреев... in Data Engineers
Dasha
Коллеги, можете, пожалуйста, помочь с AirFlow разобраться?

Не работает вкладка дагов

Настройки:

postgres=# create database airflow_metadata;
CREATE DATABASE
postgres=# CREATE USER airflow WITH password 'airflow';
CREATE ROLE
postgres=# grant all privileges on database airflow_metadata to airflow;
GRANT

$ grep sql_alchemy_conn /home/ubuntu/git/airflow/airflow.cfg
sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@localhost/airflow_metadata

$ grep load_examples /home/ubuntu/git/airflow/airflow.cfg
load_examples = False
Вопросы по airflow лучше писать в @ruairflow
Начните запуск с https://github.com/puckel/docker-airflow
Изучите как стартовые настройки сделаны, и поймёте чего вам не хватает.
источник

D

Dasha in Data Engineers
Дмитрий Негреев
Вопросы по airflow лучше писать в @ruairflow
Начните запуск с https://github.com/puckel/docker-airflow
Изучите как стартовые настройки сделаны, и поймёте чего вам не хватает.
Спасибо
источник

D

Dasha in Data Engineers
Panchenko Andrey
Ну так написано что шелуллер не запущен?
Не запущен, вробе бы раньше работало, хотя шедулер также не запускали
источник

PA

Panchenko Andrey in Data Engineers
а если запустить?
Аирфлоу на отдельной тачке?
источник

PA

Panchenko Andrey in Data Engineers
источник

PA

Panchenko Andrey in Data Engineers
и тут как раз автор показывает как сделать так чтобы ненужно было все это дело руками каждый раз запускать, разок службу запустил и всё
источник

AZ

Anton Zadorozhniy in Data Engineers
Panchenko Andrey
и тут как раз автор показывает как сделать так чтобы ненужно было все это дело руками каждый раз запускать, разок службу запустил и всё
а какие доводы в пользу этого вместо клауд компоузера?
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
а какие доводы в пользу этого вместо клауд компоузера?
композер говно
источник

DZ

Dmitry Zuev in Data Engineers
статья говно
источник

С

Сюткин in Data Engineers
Dmitry Zuev
статья говно
источник

DZ

Dmitry Zuev in Data Engineers
Назовите хоть одну причину использовать аф без кубера
источник

DZ

Dmitry Zuev in Data Engineers
если уже и так gcp
источник

PA

Panchenko Andrey in Data Engineers
ну все говно)
источник

PA

Panchenko Andrey in Data Engineers
но я ушел от компоузера поому что мне нужны были R, и Docker на этой же машине
источник

PA

Panchenko Andrey in Data Engineers
я не умею готовить кубер
источник

DZ

Dmitry Zuev in Data Engineers
Ну у композера запаздывает версия, нет контроля нормального, беда если нужны какие то питоньячи зависимости
источник