Столкнулся с проблемой.
В Airflow (и перед, и после дага пробовал) объявляю переменную с текущим таймштампом и далее сую в два последовательных оператора. Внутри оператора значения разные. В чём причина может быть и как сделать одинаковое значение для всех операторов дага?

Мб потому что он их инициализирует каждый раз, и это не одновременно?

Выглядит так, да. Но в моей голове не укладывается)

Спасибо!

был доклад одноклассников, у них больше сотни петабайт в ванильном хадупе.
кстати как я понял они слезли с друида на кликхаус, и там сотни терабайт

а может вспомните где этот доклад был?

Если не видел, то на смартдате был доклад Николая Голова про сноуфлейк в том числе с описанием костов

ну и про ванильный зная как они перепатчивали кассандру я бы не говорил =)
может там был ванильный на старте, но потом понеслось

доклад на последней смартдате у них был про Erasure Encodings и связанную с этим порчу файлов при восстановлении

эх....

тогда непонятно почему в вашем списке нет кх на баре металл.  Дешевле не бывает.

КХ немножко про другое

автор пока не сказал про что.  только про хранение занедорого для дижитал маркетинга.

Не, это у нас BQ для диджитала сейчас, одной из песочниц.  А весь набор источником самый разный. Это и тики от биржевых провайдеров, и трейды и всякие кликстимы и данные из продуктовых баз... Подозреваю я много ещё не знаю

Кх есть уже в ландашвте, но он больше для конечных витрин а не для ресерча + у него специфический SQL и аналитикам он неудобен. Ну и в обслуживании он, как бы это сказать, не так прост ))

А хочется нормальных джойнов, SQL аля вертика или BQ и желательно всё это в облаке чтобы с минимумом администрирования и с хорошей масштабируемостью

firebolt еще гляньте

а чорт, нет, они не выкатились еще на GCP

На самом деле это не препятствие ) У нас в AWS основные сервисы. Про firebolt читал и слышал, если руки дойдут по попробуем. Пилотов многовато намеается )

они голодные, по деньгам может хорошо получиться)

Ну значит попробуем больше пилотов ) Спс за наводку