Size: a a a

2021 March 19

K

KrivdaTheTriewe in Data Engineers
котооые сатанист задаст)
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
А он там может вообще любой набор символов записать, или есть какие-то ограничения все-таки?
да, вообще любой
источник

K

KrivdaTheTriewe in Data Engineers
вы с тем же успехом от сатаниста можете case class потребовать
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
да, вообще любой
Может тут стоит починить сначала?
источник

AE

Alexey Evdokimov in Data Engineers
KrivdaTheTriewe
можно билдить проект со статическими колонками
ну в каких-то темплейтах есть дефолтные значения, в каких-то нету
источник

K

KrivdaTheTriewe in Data Engineers
Alexey Evdokimov
ну в каких-то темплейтах есть дефолтные значения, в каких-то нету
ну на все это можно валидацию повесить
источник

AE

Alexey Evdokimov in Data Engineers
Anton Zadorozhniy
Может тут стоит починить сначала?
а оно не сломано. так и задумывалось изначально
источник

N

Nikita Blagodarnyy in Data Engineers
Со стороны кажется, что это какой-то философский камень. Что ему ни скорми-все на выходе получится полезный результат.
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
а оно не сломано. так и задумывалось изначально
Тогда все нормально, carry on
источник

AE

Alexey Evdokimov in Data Engineers
Nikita Blagodarnyy
Со стороны кажется, что это какой-то философский камень. Что ему ни скорми-все на выходе получится полезный результат.
ну если схема самосогласуется, то да. а почему нет-то
источник

N

Nikita Blagodarnyy in Data Engineers
А если сатанист там напишет «седло люцифер 42» тож норм?
источник

AZ

Anton Zadorozhniy in Data Engineers
Nikita Blagodarnyy
А если сатанист там напишет «седло люцифер 42» тож норм?
If you type google into Google ....
источник

AE

Alexey Evdokimov in Data Engineers
KrivdaTheTriewe
ну на все это можно валидацию повесить
валидация возможна только на момент исполнения, когда предыдущите шаги добавили в схему изначально отсутствовавших в ней колонок или породили previously unreferenceable датасеты
источник

N

Nikita Blagodarnyy in Data Engineers
Evgenii Kuznetcov
Выскажу свое мнение. Беспрестрастное, потому что я не люблю дата инжениринг что с гуем, что без :)

Работа с такой конфигурацией - это полноценное программирование. Программирование на yaml, ini или json имеет все сложности программирования, но только теперь без полезных инструментов языков программирования.
Замена json/yaml на GUI - шаг еще дальше в эту сторону: у людей отняли еще и возможности текстового редактора (копипаст).

Поэтому люди и плюются.
дядь ну ты чего. напиши цикл в ini файле
источник

N

Nikita Blagodarnyy in Data Engineers
Alexey Evdokimov
валидация возможна только на момент исполнения, когда предыдущите шаги добавили в схему изначально отсутствовавших в ней колонок или породили previously unreferenceable датасеты
ну окей, а с данными это как-то согласуется? этот конфиг имеет отношение к схемам данных? ну если они есть.
источник

AE

Alexey Evdokimov in Data Engineers
и циклы, и ветвления у нас есть :/
и есть LET, который из rdd делает список, по которому можно отреференситься потом из любого последующего места
источник

AE

Alexey Evdokimov in Data Engineers
Nikita Blagodarnyy
ну окей, а с данными это как-то согласуется? этот конфиг имеет отношение к схемам данных? ну если они есть.
см. выше, схема данных собирается на лету
источник

N

Nikita Blagodarnyy in Data Engineers
все запутаннее и запутаннее. а как вообще выглядит это pipeline?
источник

EK

Evgenii Kuznetcov in Data Engineers
(обязательная шутка про интерпретатор коммон-лиспа)
источник

N

Nikita Blagodarnyy in Data Engineers
Nikita Blagodarnyy
все запутаннее и запутаннее. а как вообще выглядит это pipeline?
я понимаю, что вопрос был про гуй, но правда очень захватывающе.
источник