Ввиду того, что ваш покорный слуга живет и работает в Штатах, последние несколько дней прибываю в Рождественских каникулах.
Поэтому было затишье в этом канале.
LinkedIn в твиторе для инженеров  https://twitter.Com/LinkedInEng  в выложил несколько интересных видосов

-история развития stream processing framework Apache Samsa
- все что вы хотели знать про Consumer Groups
- подробно о том, как работает Controller в Kafka кластере
- много мякотки на тему дисковой подсистемы - JBOD и Kafka

Напоминаю, что у нас появился чат https://t.me/proKafka

Спс

Чтобы не грустил

Примеры местами весьма странные - например, про долгий вызов punctuate - тут особо ничего не поможет, разве что буфер и отдельные потоки для кратковременных проблем. "Минусы" дсл вытекают из подхода к надежности и требуют лишь понимать принципы работы. В типичном etl батчевые процессы работают аналогично.

Про детали Processor познавательно.

а вы в кликхаус загружаете через https://clickhouse.yandex/docs/en/table_engines/kafka.html ?

Нет. На тот момент этой фичи в кликхаусе не было, грузим по-старинке через http+json

собираетесь пробовать или все устраивает?

Как определяете, через какое время отрабатывает мерж в кликхаусе? Или игнорируете при запросах последние сутки и возможные дубли в этот момент, или еще какие допущения? Или может у вас аналитика не критична к малому количеству дублей?

дубликаты случаются только если при переливании данных что-то с грохотом упадет. Само приложение, причесывающее данные, написано на akka-streams, работает в k8s и для гладкого редеплоя слушает SIGTERM. При получении сигнала "пора умирать", оно останавливает consumer, записывает последний батч и коммитит оффсет в кафку. При таком подходе дубликаты - это что-то из ряда вон выходящее, но на практике иногда случается.

т.е. мерж кликхауса фактически перестраховка, а не решение проблемы дублей, ок спасибо

За счет чего устраняете дубликаты? Ид в бд запоминаете?

Аа да

народ, а как вы по-русски говорите, data pipelines?

нет, все и так понимают

Конвейер

)

это я понимаю, я абстрак для конференции пишу - у меня всегда беда, когда пишу абстракты на русском

тогда как @ohmygods123 сказал

а twitter firehose?