кто-нибудь может обяснить на пальцах, как это спасёт от потери очередности при ретраях?

как вообще кому-то в голову пришло рядом с кафкой поставить эктивмку и кафку?

Alibaba хотели event-driven

Это возможно,  там есть две настройки, одна про размер бинлога, вторая про время жизни. Им надо выставить какие-то разумные значения. По умолчанию там mysql сам решает когда удалять. Настройки можно проверить поднимая slave например. Так же стоит учитывать, что в mysql репликация на базу. Если у вас есть большие (активные) таблички которые не будут реплицироваться в кафку, то их надо по возможности вынести в отдельную базу(схему). Иначе все будет попадать в один бинлог.

Спасибо за наводку.

Добрый вечер. Ситуация следующая. Есть confluent 5.0.1, есть hdfs sink connector, который читает из топика сообщения в avro и записывает parquet. Всё бы хорошо, но тип decimal  из avro прилетает в паркете уже binary. Есть какой-то способ, кроме влезания в код коннектора заставить маппить корректно?

Коллеги, а кто знает про планы arenadata иметь у себя ksql в поставке?

Они есть

Сталкивался с ад на продуктиве?

Думаю лучше прям у них и чате и спросить
https://t.me/arenadata_cm

Доброе утро!
Есть проблема - используем Kafka Connect для того, чтобы писать данные из Kafka в InfluxDB. Какой формат этих данных?
При попытке записать из plain json без схемы - падает HashMap cannot be cast to org.apache.kafka.connect.Struct

Спасибо

Вопрос по кафка коннект.
Запустил кафка коннект в distributed режиме. 2 инстанса. Но все равно работает только один.
Связаено с мускулем через debezium mysql connector.
Первый инстанс снимает initial snapshot (долго, 25 таблиц среди которых есть по 20-30М записей) и параллельно слушает бинлоги с тех таблиц, которые уже заснапшотил.
А второй просто отдыхает.
Они потом как-то подялятся работой между собой, или так и будет один работать, а второй отдыхать. Может, какие-то условия нужны для этого?

Коллеги, может кто подсказать
FLINK не отправляет heartbeat в кафку и отваливается
Куда смотреть?

версия кафки?
в предыдущих версиях кафки был нюанс что хертбиты только на следующем fetch запросе уходили
поэтому если хапнули большой кусок работы и пережевываете долго, то отваливалось по таймауту

1.1.0

1.1.1 прошу прощения

Попадает под раздачу?
Падают логи Discover coordinator for group *

Логи сыпятся, если в топик, в который смотрит FLINK не попадают сообщения

то есть ошибки как раз таки на пустом топике?

Я так предполагаю, как продюсер перестал писать, FLINK и вываливается