AP
Хм… Нет. Не знаю. Есть канал по архитектуре данных, может там подскажут. Я кроме спецификаций на волт и энкор читал только материалы конференций и копался в моделях ))
а что за канал по архтектуре?
Size: a a a
2020 October 21
MV
Там даже уже это спрашивали
MV
Можно посмотреть в shared links/docs
AZ
чот как-то там сухо и по делу
AZ
тут веселее
AN
Господа дата инженеры, можете пожалуйста что-нибудь посоветовать по следующему кейсу?
Есть кафка, есть желание все что в ней было складывать в хдфс. Номинально в целях холодного хранения, однако все-таки данные частенько смотрят бизнес аналитики (больше никуда данные в таких объемах не пишутся), так что должна быть какая-то оперативность. Чем лучше всего организовать своевременный транспорт данных из кафки в хдфс, если кафка-коннект - не вариант? Пока что смотрели в сторону spark streaming и NiFi . Ощущение что первое - это из пушки по комарам, а второе - микроскопом гвозди
Есть кафка, есть желание все что в ней было складывать в хдфс. Номинально в целях холодного хранения, однако все-таки данные частенько смотрят бизнес аналитики (больше никуда данные в таких объемах не пишутся), так что должна быть какая-то оперативность. Чем лучше всего организовать своевременный транспорт данных из кафки в хдфс, если кафка-коннект - не вариант? Пока что смотрели в сторону spark streaming и NiFi . Ощущение что первое - это из пушки по комарам, а второе - микроскопом гвозди
АЖ
ну и выгребайте спарком раз в час/день/неделю топики, раз холодное хранилище
АЖ
или оперативность - рилтайм?
AN
Нет, держим аналитиков в строгости)
AN
Как единое приложение со списком топиков организовать и поставить на расписание?
АЖ
ну, airflow, prefect, oozie и тому подобное
АЖ
но можно и нафаню
АЖ
сразу на все цели
AZ
Andrew Nasonov
Господа дата инженеры, можете пожалуйста что-нибудь посоветовать по следующему кейсу?
Есть кафка, есть желание все что в ней было складывать в хдфс. Номинально в целях холодного хранения, однако все-таки данные частенько смотрят бизнес аналитики (больше никуда данные в таких объемах не пишутся), так что должна быть какая-то оперативность. Чем лучше всего организовать своевременный транспорт данных из кафки в хдфс, если кафка-коннект - не вариант? Пока что смотрели в сторону spark streaming и NiFi . Ощущение что первое - это из пушки по комарам, а второе - микроскопом гвозди
Есть кафка, есть желание все что в ней было складывать в хдфс. Номинально в целях холодного хранения, однако все-таки данные частенько смотрят бизнес аналитики (больше никуда данные в таких объемах не пишутся), так что должна быть какая-то оперативность. Чем лучше всего организовать своевременный транспорт данных из кафки в хдфс, если кафка-коннект - не вариант? Пока что смотрели в сторону spark streaming и NiFi . Ощущение что первое - это из пушки по комарам, а второе - микроскопом гвозди
если у вас дистрибутив Confluent - берите Kafka Connect
АЖ
если у вас дистрибутив Confluent - берите Kafka Connect
грит же, зобанено
AN
Нафаню ну такое, мануально создавать надо каждый раз поток или писать какую-то странную генерилку эксмелей (
А вот у нас не конфлюэнт, такие дела
А вот у нас не конфлюэнт, такие дела
AN
А шо там в даг запихивать? Тем более spark streaming штатно не завершишь
AN
А, хотя там не стриминг, там просто выгребать батчелопатой