Size: a a a

2021 April 09

NN

No Name in Data Engineers
Ну, в сущности, лейкхаус ничего не мешает делать даже на ранней стадии, как минимум на вырост. Обычно количество источников все равно растет у бизнеса, если он не умирает.
источник

AZ

Anton Zadorozhniy in Data Engineers
вот на той картинке что вы привели S3 это даталейк - это же явное непонимание функционального определения

было бы более понятно если там нарисовали EMR/Dataproc/HDInsight, но просто S3 - это как сказать что EBS это хранилище данных
источник

ЕП

Евгений Погребняк... in Data Engineers
Это просто бросается в глаза, S3 известный сервис, и дпде если не знаешь про лейки - чувствуешь что бред. Беспокоят ситуации, где такой же бред, но ты не можешь быстро это понять )
источник

Е

Екатерина in Data Engineers
привет, я аналитик, через час собеседование, Подскажите какими инструментами осуществляется миграция данных из яндекс облака в хадуп?
источник

ME

Max Efremov in Data Engineers
Т.е. дата лейком будет уже S3+Athena+Glue+LakeFormation?
источник

ЕГ

Евгений Глотов... in Data Engineers
Так себе даталейк, если честно😆
источник

ЕГ

Евгений Глотов... in Data Engineers
Дата свамп)
источник

AZ

Anton Zadorozhniy in Data Engineers
Glue там выделена, но LakeFormation и Athena хорошие ответы, кмк EMR там имело смысл нарисовать
источник

AZ

Anton Zadorozhniy in Data Engineers
если Amazon S3 - это даталейк, то Amazon EBS - это хранилище данных
источник

NN

No Name in Data Engineers
Что, никто? :(
источник

А

Алексей in Data Engineers
источник

Y

Yurgen in Data Engineers
Может Kafka MirrorMaker? Я с облаками не работал, самому интересно.
источник

NN

No Name in Data Engineers
Да, пасиб, я лох
источник

NN

No Name in Data Engineers
@LychanginAV а чем Ваш кейс с апач игнайт в итоге закончился?
источник

CS

Carlos Santos in Data Engineers
I am urgently looking for a Data Engineer for a well known software company.
2+ years as data engineer with Python
Fully remote position, 8 hours/day.
6 months initial contract + extensions.
Rate 30€ - 40€ per hour but flexible for the right talent
Please send your email for more details on project.
источник

ПФ

Паша Финкельштейн... in Data Engineers
Ещё для адвокатов чтобы осознавать насколько дохера ты не знаешь :)
источник

VS

Vladislav 👻 Shishkov... in Data Engineers
Как мы выбирали Data Catalog, но в итоге оставили все как есть
https://habr.com/ru/post/551092/?utm_source=habrahabr&utm_medium=rss&utm_campaign=551092
Tags: Блог компании Lamoda, Big Data, Data Engineering, data catalog, dwh, data warehouse, data lake
Author sowow359 #habr
источник

AZ

Anton Zadorozhniy in Data Engineers
адвокаты хороши если свой продукт знают нормально 😉
источник

ПФ

Паша Финкельштейн... in Data Engineers
Всё сложнее. Обычно этого очень мало потому что задача - не продажи своего продукта, а общение с _потенциальными_ пользователями. Чтобы знать что у них болит и влиять на продукт. Там вот на подходе релиз с начальной поддержкой Кафки, например
источник

AZ

Anton Zadorozhniy in Data Engineers
я что-то про это слышал 😊
источник