from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.operators.python_operator import PythonOperator
from datetime import datetime, timedelta

import clickhouse_driver as ch
from typing import Tuple, Dict, Union, List, Optional
from collections import namedtuple

вот первые строки файла, дальше он и не идет выполняться

Дак драйвер-то стоит? Выглядит так, что нет

Очевидное же

&& pip install apache-airflow[celery,slack,postgres,hive,jdbc,mysql,mssql,ssh,virtualenv${AIRFLOW_DEPS:+,}${AIRFLOW_DEPS}]==${AIRFLOW_VERSION} \

# Yours packages
&& pip install clickhouse_driver \

у меня вот так впилен в Dockerfile попробуйте пересобрать

так и есть

Питон какой версии? Может не для той ставишь драйвер

я руками его(драйвер) внутри стравлю и ничего не меняется
захожу в python3, выполняю import clickhouse_driver. Все норм, без ошибок. DAG все равно с ошибкой(

Пип3 не равно пип

знаю, ставлю правильно. из консоли доступ к драйверу имею

Не на тот петон показывает наверн, python -m pip install попробуй

Все что нужно знать про учебку от OTUS

Я прошёл у них 2 курса

Обычный гикбоейн

Но маркетинг на старте был хороший

Ну примерно

Я там вел один курс 2 семестра, дезорганизация мне не понравилась

вопрос со звёздочкой:

кто-то запускал impala 4.0 (или предыдущую версию) с apache hive 3.1 ?

поделитесь патчами =(
клоудера в свой хайв залила вагон бекпортов с 3.2/4.0/master

поэтому hive-metastore-client от клоудеры не работает с апачевским (нету вызовов на стороне сервера)
а апачевский клиент не работает уже с самой импалой (нету нужных методов в java классах)

поддержку клиентов hive 2.x они дропнули

Всем привет. Есть спарк джоба и есть таблица большая таблица (35 млн записей), к которой джойнятся ~10 других мелких таблиц (самая большая из них 50к записей, остальные по 1-10к). Если убрать эти джойны, то время работы джобы уменьшается на 10 минут. В спарк плане все джойны являются broadcast. Вопрос: адекватное ли это время и можно ли это как-то оптимизировать? и что может являться причиной такого поведения? смущает что приджойнить 10 мелких таблиц занимает 10 минут

Если это броадкаст – то вполне адекватно. 10 табличек по ±25к записей грузятся на все ноды, 10 минут для этого вроде норм.  А 10 минут – это много или мало?