AE
MR это некротехнология всё же. принципы может и объясняет, но напрямую её всё равно никто не будет юзать, а аналогии не всегда работают
Size: a a a
2021 October 25
OI
Про NiFi много слышал. А можно немного мотивации?
N
мотивации к чему?
AZ
описание бизнес-логики на всяких датафреймах и прочих DSL над обычными ЯП, все довольно быстро катится обратно к SQL
G
Означает ли это, что эта профессия вымирает?
AZ
нет конечно
G
Я тут просто совсем новичок (в роли ДИ), поэтому активно пытаюсь понять на чем фокусировать своё внимание
AE
на своих конкретных задачах, за которые вам и платят бабло
AE
ваш К.О.
G
Это само собой) Но в свободное время по-немногу никто ведь не запрещает что-то изучать +- по теме
D
подскажите, плз, как может выглядеть тестирование пайплайнов?
есть инструменты для автоматизации? бест практики, на что, вообще, обращать внимание при тестировании?
стек - hdfs, greenplum, все джобы - чисто sql с параметризацией
есть инструменты для автоматизации? бест практики, на что, вообще, обращать внимание при тестировании?
стек - hdfs, greenplum, все джобы - чисто sql с параметризацией
D
если отбросить data quality, то для проверки логики - это ж чисто ручное написание скриптов? сравнить источник, сравнить готовые витринки.
OI
Будет также Oracle
OI
Ну т.е. почему именно он
N
Серьезно?
AZ
основные ассерты автоматизировать можно, и дальше вы пишете просто в формате конфигурации
в качестве примера как это все может выглядеть в пределе - посмотрите на great expectations
в качестве примера как это все может выглядеть в пределе - посмотрите на great expectations
OI
Да, мы поднимем удаленный сервер и слушатели будут коннектиться к нему.
AZ
а почему не постгря?
N
низкий порог входа, no code пайплайны, двигай кубики-получай результат, для простых задач более чем достаточно, куча проблем решена и протестирована, обстучал апи, сплитнул жысон, положил в кафку, получил премию. файлы таскать и роутить вообще одно удовольствие.
N
ну если выучить select from group by having, то глобально пофигу. но учить оракл специфичные штуки смысла нет никакого, оракла кмк в живой природе практически не осталось, а в аналитике и подавно.