AZ
This
Size: a a a
2021 October 25
OI
Это так, но в спарке можно посмотреть на код джойна, но сложно залезть внутрь и переделать что-то. А на мапредьюсе можно написать свою собственную программку, не встраивая в какую-то инфраструктуру
AE
со всякими спарками то же самое. чтобы чел врубился, ему надо показать путь от высокоуровневого апи в кишки
AZ
Вообще большую часть датаинжей можно только SQL учить, остальное опять отмирает ((
N
@velkerr а зачем SQLite? Кому он нужен? Почему не постгрес/мускуль какой-нить?
A
так к этому всё и идёт, история опять делает виток спирали
N
а что именно сейчас отмирает?
AE
вот и паршиво. вырастет поколение "инженеров", которые не понимают как работают их инструменты
A
оно всегда так было
OI
Вот поэтому и учим MR )
AZ
Цель не очень понимаю, это операционные СУБД, нужны для архитекторов и инженеров которые делают бэкенды, к аналитике относятся опосредованно
A
даже сейчас люди использующие спарк сплабо представляют что там под капотом
OI
Там цель просто выучить SQL. И чтоб не заморачиваться с инфрой - SQLite подходит
OI
Ага, очепятка
D
мартышку можно и так учить, а программисту лучше сначала концепции показать, а потому уже погружать в наслоения спарка
AZ
Одно из другого не вытекает
N
ну чтобы заодно научиться выполнять docker pull postgres
AZ
Да, программисты пайплайнов на скале встанут в один ряд с программистами на SAS
N
для самых маленьких я бы добавил NiFi.