DT
Вместо spark streaming под эту задачу посмотрите еще flink
хочется снизить порог входа в код, и попробовать spark structured streaming. У flink таки нужно писать цивилизованный java код
Size: a a a
2018 July 08
AS
А в spark не надо?)
DT
здесь flink, как мне видится, даст только честный эвент процессинг, а не микробатч
DT
А в spark не надо?)
там есть spark sql, который с 2.1.0 поддерживает spark streaming
AS
там есть spark sql, который с 2.1.0 поддерживает spark streaming
Я в курсе, но там тоже нужно писать код, а ещё желательно потом план посмотреть
PG
В мускуле то он зачем near online?
PG
Точнее они, данные
AS
В мускуле то он зачем near online?
👍
DT
В мускуле то он зачем near online?
чтобы иметь в нем близкий к актуальному снепшот данных в системе, которая не имеет sql бд, и поэтому единственный вариант собрать снепшот - ловить эвенты, и апсертить по ключу в mysql
PG
Зачем снепшот близки к реалтайм, в мускуле?)
PG
Верхнеуровневая задача
DT
Зачем снепшот близки к реалтайм, в мускуле?)
показывать их в ui для мониторинга
PG
А чем кафка сама по себе не подходит тогда?
DT
вариант научить смотреть мониторинг в кафку - рассматривается, но как запасной
DT
потому что сейчас мониторинг уже смотрит в mysql
MV
Есть необходимость в near-online вычитывать json tuple данные из кафки, процессить их немного и писать в mysql. Суть - выдергивать из логов эвенты, и сохранять их в подходящем для sql-запроса формате в mysql. Думаю попробовать spark streaming в java реализации. Кто знает про подводные камни, или может предложить вариант проще/лучше?
Flink
DT
и джойнить данные между кафкой и mysql - задача сложнее, чем внутри mysql
DT
Flink
чем лучше spark streaming? (кроме того, что оно не микробатч)
MV
Ну есть плюсы, есть минусы. Главный минус, наверное, это то, что проект молодой. В остальном он по скорости и возможностям on-line стриминг должен эффективней тянуть.
MV
Я честно скажу, мы сейчас делаем проект, у нас они парой. Flink + Spark Streaming. Но второй - на всякий случай ))