b
Имеются в виду всякие spark dataset, frameless, такие подходы
да, спасибо, понятно.
Size: a a a
2021 March 30
AZ
Кажется, что сделать декларативный язык нетипизированным гораздо сложнее, чем типизированным
SQL вполне себе типизированный язык, там речь шла о написании бизнес логики в терминах UDT и функций над ними, как spark dataset
ПФ
Реята, которые используют dbt , скажите как вы живете и отлаживаете эти все макросы и простыни sql кода? Неужели нет желания делать etl типизированым?
Ты же сам писал на датафреймах без типов
ПФ
Это очень простой код
N
Есть и другие способы )
Поделишься?
N
Даже если так будет , кода все равно будет меньше
Есть одно но. Ограничение на число полей в классе.
V
Ребят не подскажите
V
Какую команду необходимо написать чтоб скопировать file.txt размером 10 Тб из ПАПКИ /data/ в /tmp/
T
Какую команду необходимо написать чтоб скопировать file.txt размером 10 Тб из ПАПКИ /data/ в /tmp/
cp
NN
Но Спарк и не всем подходит, у него понятная область применимости но за рамками это области - очень больно и очень дорого (ну или ждать пока delta engine всем дадут)
А какая у него область применимости?
AZ
А какая у него область применимости?
мы про батчевые пайплайны говорили (ETL), спарк это бигдата, когда пайплайны широкие но их мало, мало обновлений и удалений, да вы лучше меня знаете
NN
мы про батчевые пайплайны говорили (ETL), спарк это бигдата, когда пайплайны широкие но их мало, мало обновлений и удалений, да вы лучше меня знаете
Ну мало ли, вдруг что-то новое услышу)
AZ
Ну мало ли, вдруг что-то новое услышу)
у меня только старое 😞
NN
мы про батчевые пайплайны говорили (ETL), спарк это бигдата, когда пайплайны широкие но их мало, мало обновлений и удалений, да вы лучше меня знаете
А дельта энжин прям настолько хорош?
NN
у меня только старое 😞
Ну, тоже неплохо, не нужно срочно все перепиливать
AZ
А дельта энжин прям настолько хорош?
я сам не трогал, но говорят что сильно лучше спарка
YL
Кто-нибудь может помочь разобраться как во Flink из топика можно получить записи в формате GenericData (Avro), используя схему из SchemaRegistry? Что-то совсем залип.... ☹️
e
я сам не трогал, но говорят что сильно лучше спарка
Какие у него киллер фичи ?
AZ
Какие у него киллер фичи ?
не тормозит (на старте, в процессинге и нормальная утилизация), кэширование
AZ
то есть это нормальная МРР СУБД, но которая понимает Spark API