Size: a a a

2021 March 24

AZ

Anton Zadorozhniy in Data Engineers
@vsgrab 👋
источник

E

Eldar in Data Engineers
Евгений Глотов
В итоге всё свелось к тому, что данные все изучили, потому что без этого оказалось никак😆
хм, а данные кто у вас обычно изучает? системных аналитиков под это выделяете или сами ДЕ?
источник

AZ

Anton Zadorozhniy in Data Engineers
Eldar
Народ, а кто сможет объяснить в чем разница между data engineer и etl разработчик? В интернете между ними часто ставят знак равенства. А вы как думаете?
примерно одно и тоже, стек может быть разный
источник

ЕГ

Евгений Глотов... in Data Engineers
Eldar
хм, а данные кто у вас обычно изучает? системных аналитиков под это выделяете или сами ДЕ?
Системные, бизнес-аналитики, саентисты, инженеры - все изучают
источник

ЕГ

Евгений Глотов... in Data Engineers
Разве что разработчики не изучают)
источник

KS

K S in Data Engineers
T
Ci/cd тоже они поверх строят? Если да то я бы советовал делать как они просят
CI за нами, CD за ними. Я вот уже пару дней слушаю их "обьяснения", но что-то заходит очень плохо, несмотря на то, что я специально прошёл мастер курс по Cloud Formation.
источник

ЕГ

Евгений Глотов... in Data Engineers
И то это приводит иногда а проблемам😆
источник

AZ

Anton Zadorozhniy in Data Engineers
odba
Не подскажете, а бывшим DBA насколько сложно зайти в DE? Также имеется небольшой опыт разработки на Java.
DBA очень растянутое понятие, если вы такой DBA который в форке PG/MySQL ковыряется, написал гору тулинга и понимает все это изнутри (database engineer) - вам может быть скучно в DE
источник

AZ

Anton Zadorozhniy in Data Engineers
K S
Девопсы, но я не хотел бы попадать к ним в кабалу, чтобы каждое добавление бизнес логики давалось с боем.
девопс это не человек )
источник

T

T in Data Engineers
K S
CI за нами, CD за ними. Я вот уже пару дней слушаю их "обьяснения", но что-то заходит очень плохо, несмотря на то, что я специально прошёл мастер курс по Cloud Formation.
А в чем именно затык? Зависимости будете прокидывать через экспорт импорт и сикрет менеджер. пофигу в одном репо или разнаных если так делать .
источник

T

T in Data Engineers
Anton Zadorozhniy
девопс это не человек )
источник

ЕГ

Евгений Глотов... in Data Engineers
Alex Krash
разные случаи бывают. но при масштабировании разработки неизбежно будет возникать специализация. потому что оказывается, что для привоза данных надо 5 инженеров, а для удовлетворения потребностей бизнесовых витрин - 30 человек.
Да, примерно так, только у нас скорее 10 и 50)
источник

SO

Simon Osipov in Data Engineers
K S
Девопсы, но я не хотел бы попадать к ним в кабалу, чтобы каждое добавление бизнес логики давалось с боем.
Девопс это не люди..
источник

KS

K S in Data Engineers
T
А в чем именно затык? Зависимости будете прокидывать через экспорт импорт и сикрет менеджер. пофигу в одном репо или разнаных если так делать .
Девопс сказал, что никаких импортов, только отдельные декларации.
Я спросил почему нельзя один шаблон, который environment agnostic, вместо туевой хучи репозитариев и отдельной папки для каждого environment. Внятного ответа не услышал.
источник

T

T in Data Engineers
K S
Девопс сказал, что никаких импортов, только отдельные декларации.
Я спросил почему нельзя один шаблон, который environment agnostic, вместо туевой хучи репозитариев и отдельной папки для каждого environment. Внятного ответа не услышал.
Аааа вот оно что. Тогда да очень странно
источник

ЕГ

Евгений Глотов... in Data Engineers
K S
Девопсы, но я не хотел бы попадать к ним в кабалу, чтобы каждое добавление бизнес логики давалось с боем.
Девопсы в идеале делают ci/cd фреймворк, а продукты конфиг для работы этого фреймворка - что куда раскатывать, по коммиту или по тэгу, дев тест прод, и т. д.
источник

ЕГ

Евгений Глотов... in Data Engineers
Потом сервис с фреймворком в бэкэнде натравливается на репо всех продуктов и начинает люто бешено деливерить)
источник

AE

Alexey Evdokimov in Data Engineers
девопс это методология. а если в конторе так называют конкретных инженеров, то в конторе проблема с внутренней интеграцией
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexey Evdokimov
девопс это методология. а если в конторе так называют конкретных инженеров, то в конторе проблема с внутренней интеграцией
а еще бывают Юнит Тестеры :)
источник

VG

Vsevolod Grabelnikov in Data Engineers
Привет :-)
источник