АЖ
Andrew Nasonov
А, хотя там не стриминг, там просто выгребать батчелопатой
вот именно
Size: a a a
2020 October 21
AZ
NiFi тоже подойдет, он правда не подарок
AN
Ну как не подарок
AN
Как троянский конь
AZ
там теймплейты можно делать и потом их инстансы плодить через апи
AZ
но мониторинг так себе
АЖ
но мониторинг так себе
дык у конектов и аэйрфлоу тоже искаропки ну такое
AZ
дык у конектов и аэйрфлоу тоже искаропки ну такое
но лучше
AZ
эйрфлоу вообще не об этом к слову
АЖ
ну как оркестратор
АЖ
коннекторы-то хельмами раскатал с шаблонами да радуйся (нет)
AZ
кмк это вообще о другом, что аэрфлоу оркестрировать должен
АЖ
как раз о том, рилтайм нинужон же в кейсе
AZ
как вариант посмотрите на дизайны Camus/Gobblin, там как раз батчовые приземлялки со стейтом в объектном хранилище, идемпотентные и масштабируемые, но код самих проектов устарел, можно попробовать реализовать такой дизайн (мы делали пару раз)
AN
Посмотрю, спасибо
АЖ
Gobblin прикольный
AN
Ну вот есть например ~1000 топиков. Мы хотим их в течение часа уложить в хдфс. Последовательно - не уложимся. А как параллелить обработку кучи разных топиков в спарке - не оч понятно, я не очень умный ( Отдельное приложение для каждого поднимать?
AZ
вообще надо бы подойти к снаряду снова и пересмотреть все, с прицелом на айсберг/худи
АЖ
как вариант посмотрите на дизайны Camus/Gobblin, там как раз батчовые приземлялки со стейтом в объектном хранилище, идемпотентные и масштабируемые, но код самих проектов устарел, можно попробовать реализовать такой дизайн (мы делали пару раз)
А Azkaban не наследник ли gobblin?
AZ
Andrew Nasonov
Ну вот есть например ~1000 топиков. Мы хотим их в течение часа уложить в хдфс. Последовательно - не уложимся. А как параллелить обработку кучи разных топиков в спарке - не оч понятно, я не очень умный ( Отдельное приложение для каждого поднимать?
камю как раз про это, там он анализирует метаданные, смотрит на список топиков и порождает мапредьюс нужных размеров чтобы каждый маппер тянул свой топик и набор партиций (в пределе - одну партицию)