АЖ
российскими банками энтерпрайз не заканчивается, в соседнем русскоязычном чатике опсов только и разговоры что про кубер и микросервисы
так и вы тоже говорите!
Size: a a a
2020 December 11
AZ
так и вы тоже говорите!
они говорят и показывают)
AZ
кубер всем кто хоть как-то с опсом соприкасается обязательно надо знать, если даже ваши спарковые джобы там не бегут, то сервинг моделек наверняка там побежит уже очень скоро
R
российскими банками энтерпрайз не заканчивается, в соседнем русскоязычном чатике опсов только и разговоры что про кубер и микросервисы
Ну и в рос банках давно уже кубер используют(точно знаю про проекты в проде у 2х банков, один несколкьо лет назад в прод вышел). Но они все про микросервисы в основном. А вот про анализ данных пока что совсем редко. Ну оно и понятно почему - потому что архитекторам объяснить про анализ данных в кубах - это очень сложно. Я не про каких - то абстрактных архитекторов, а про стереотипичных архитекторов из банка.
R
Ну и знаю ещё один проект на кубере, опять же про микросервисы, в одной нефтегазовой компании.
R
И наверняка много у кого ещё микросервисы в кубах.
AZ
Ну и в рос банках давно уже кубер используют(точно знаю про проекты в проде у 2х банков, один несколкьо лет назад в прод вышел). Но они все про микросервисы в основном. А вот про анализ данных пока что совсем редко. Ну оно и понятно почему - потому что архитекторам объяснить про анализ данных в кубах - это очень сложно. Я не про каких - то абстрактных архитекторов, а про стереотипичных архитекторов из банка.
в аналитике много всего кроме самих джобов - инджест, сервинг моделей, запуск всяких воркеров и ноутбуков тех кто не умеет нативно YARN.. k8s приближается к дефакто-стандарту для масштабного запуска мелких ворклоадов
R
Согласен с вами, что кроме джобов, есть кучу других вещей. И ни сколько не спорю, что их можно, а иногда и логично, запускать в кубе. Я просто хотел донести видение, что к сожалению, у большого количества it представителей(а основном у архитекторов и так далее) в энтерпрайзе, пока что паттерн такой: куб - микросервисы, hadoop - аналитика(в том числе и модели и так далее).
По крайне мере это только моё видение из 3х банков где работал я и ещё нескольких энтерпрайзов, где работают коллеги и друзья.
По крайне мере это только моё видение из 3х банков где работал я и ещё нескольких энтерпрайзов, где работают коллеги и друзья.
AT
Ну кто к чему привык собственно, да и если работает не так уж много мотивации прям сразу бежать и менять
AZ
Согласен с вами, что кроме джобов, есть кучу других вещей. И ни сколько не спорю, что их можно, а иногда и логично, запускать в кубе. Я просто хотел донести видение, что к сожалению, у большого количества it представителей(а основном у архитекторов и так далее) в энтерпрайзе, пока что паттерн такой: куб - микросервисы, hadoop - аналитика(в том числе и модели и так далее).
По крайне мере это только моё видение из 3х банков где работал я и ещё нескольких энтерпрайзов, где работают коллеги и друзья.
По крайне мере это только моё видение из 3х банков где работал я и ещё нескольких энтерпрайзов, где работают коллеги и друзья.
скорее всего так и есть, я сам давно не сталкивался с российскими банками; мой поинт в том что профессионалам в нашей отрасли, тем кто соприкасается с опсом, кубер учить уже нужно, а не только можно
R
скорее всего так и есть, я сам давно не сталкивался с российскими банками; мой поинт в том что профессионалам в нашей отрасли, тем кто соприкасается с опсом, кубер учить уже нужно, а не только можно
👍
АЖ
скорее всего так и есть, я сам давно не сталкивался с российскими банками; мой поинт в том что профессионалам в нашей отрасли, тем кто соприкасается с опсом, кубер учить уже нужно, а не только можно
увы, но в российских реалиях в банке скорее скажут “нам неинтересен ваш опыт со спарком в кубах и авсе, покажите ваш скил по ярну”
AZ
увы, но в российских реалиях в банке скорее скажут “нам неинтересен ваш опыт со спарком в кубах и авсе, покажите ваш скил по ярну”
ну ярн-то все умеют
A
ну ярн-то все умеют
Вот так считаешь что в ярн все умею, а потом приходят кандидаты на собес......
AZ
Вот так считаешь что в ярн все умею, а потом приходят кандидаты на собес......
и говорят что конечно знают ярн, вот же он! https://yarnpkg.com/
R
Вот так считаешь что в ярн все умею, а потом приходят кандидаты на собес......
А потом знакомишься с коллегами на новом месте...
AZ
у меня есть интерн который такой ярн знает, а хадуперский - нет; но ему не надо, он на питоне с датафреймами пишет код для базы
А
Коллеги, подскажите по DataVault, есть желание его применять, но боюсь начинать. Есть на входе в staging слое сотни таблиц, если их все преобразовывать, то они превратятся в тысячи. Как вы делаете? Весь staging преобразовывается в серебряном слое к datavault модели или только избранные, нужные сущности?
VP
Коллеги, подскажите по DataVault, есть желание его применять, но боюсь начинать. Есть на входе в staging слое сотни таблиц, если их все преобразовывать, то они превратятся в тысячи. Как вы делаете? Весь staging преобразовывается в серебряном слое к datavault модели или только избранные, нужные сущности?
ну если есть время всё задатаволтить то можно и всё преобразовать )) Обычно просят дотянуть какие-то источники до витрин бизнеса, вот их и нормализуют. Так DV и разрастается
AZ
Коллеги, подскажите по DataVault, есть желание его применять, но боюсь начинать. Есть на входе в staging слое сотни таблиц, если их все преобразовывать, то они превратятся в тысячи. Как вы делаете? Весь staging преобразовывается в серебряном слое к datavault модели или только избранные, нужные сущности?
Только те которые будут нужны в витринах и модельках