Size: a a a

2021 January 20

VG

Vik Gamov in pro.kafka
Yurii Khmelevskii
Я правильно понимаю что kafka source connector не гарантирует мне последовательность, если я стримлю в несколько топиков несколькими тасками?
Например:
В БД у меня есть 2 таблицы
Orders
Customers
Таблица orders связана с customers.
Коннектор стримит данные с этих таблиц в соответствующие топики orders и customers.
В базу данных всегда вставляется вначале customer, а затем order (возможно одновременно в рамках одной транзакции). Я правильно понимаю что может быть ситуация когда данные в топик customers попадут раньше чем orders? Потому что разные такси могут стоимить данные и никто не гарантирует последовательность?
Какой коннектор?
источник

YK

Yurii Khmelevskii in pro.kafka
источник

YK

Yurii Khmelevskii in pro.kafka
Это имеет значение?
источник

SB

Sergey Bezrukov in pro.kafka
Vik Gamov
Нет. Обе Confluent community license. Можно юзать без проблем бесплатно, но нельзя предоставлять как managed service
Почему нет?  

Can I embed Confluent Community software in software I distribute?
Yes, you can.

Это со страницы https://www.confluent.io/confluent-community-license-faq/

Если подрядчик делает проект для (гос-)заказчика, он не предоставляет ему никаких managed service - он сдаёт ему софт, который работает на мощностях заказчика и, есс-но, не предоставляет наружу ничего такого, что может быть интерпретировано как "compete with Confluent SaaS products or services that provide the same software".
источник

OG

Oleg Gavrilov in pro.kafka
Дак он и сказал что можно использовать без проблем
источник

V

Vadim in pro.kafka
есть какая-то заготовка скрипт, как кол-во реплик выставить для всех топиков, и реплики по разным датацентрам разнести?
источник

DK

Daniyar Kaliyev in pro.kafka
Vadim
есть какая-то заготовка скрипт, как кол-во реплик выставить для всех топиков, и реплики по разным датацентрам разнести?
когда-то писал скрипт и добавлял в крон, чтобы выравнивал всем топикам 3 реплики, а то бывали случаи, когда некоторые умельцы создавали топики с одной репликой, а что значит реплики разносить по датацентрам? ведь у каждой партиции свой лидер или вы собираетесь разнести один кластер по двум цодам?
источник

V

Vadim in pro.kafka
Daniyar Kaliyev
когда-то писал скрипт и добавлял в крон, чтобы выравнивал всем топикам 3 реплики, а то бывали случаи, когда некоторые умельцы создавали топики с одной репликой, а что значит реплики разносить по датацентрам? ведь у каждой партиции свой лидер или вы собираетесь разнести один кластер по двум цодам?
один кластер по двум цодам разнесен
источник

V

Vadim in pro.kafka
RACK выставлен, но и че то нет какой то апи, чтоб с учетом этого разнести, все равно надо вручную генерить файл и номера брокеров указывать
источник

IG

Ivan Grishaev in pro.kafka
Подскажите по файлам .properties. Иногда в них встречаются подстановки вида ${timestamp}. Где найти список всех возможных подстановок?
источник

IG

Ivan Grishaev in pro.kafka
Если точнее: настраиваю HTTP Connector, чтобы он перекладывал тело сообщеньки методом POST в нужный урл. Как указать, чтобы тело было сообщением? В документации нашел такой пример:

"http.request.body": "{\"size\": 100, \"sort\": [{\"@timestamp\": \"asc\"}], \"search_after\": [${offset.timestamp?datetime.iso?long}]}"
источник

IG

Ivan Grishaev in pro.kafka
но непонятно, как сослаться на тело сообщеньки
источник

Y

Yuriy in pro.kafka
Добрый день, коллеги
Подскажите плиз
Есть openSource решения для чека лагов consumer group в разрезе consumer клиентов, но для zabbix?
может скрипт какой
источник

DK

Daniyar Kaliyev in pro.kafka
Vadim
RACK выставлен, но и че то нет какой то апи, чтоб с учетом этого разнести, все равно надо вручную генерить файл и номера брокеров указывать
это да у кафки нет гуи, потому обрастаем скриптами, сейчас тоже собираемся пилить скриптик, который будет считать лидеров по партициям топиков и распинывать по разным нодам лидеров, а то периодически лидеры скапливаются на одной ноде
источник

V

Vadim in pro.kafka
да гуи не нужен, апи бы нормальный, чтоб запустил команду, а он сам раскидал реплики по брокерам
источник

SB

Sergey Bezrukov in pro.kafka
Oleg Gavrilov
Дак он и сказал что можно использовать без проблем
Ну если "нет" в ответ на вопрос "можно ли использовать" означает "да", то видимо, да, так и сказал.
источник

OG

Oleg Gavrilov in pro.kafka
Sergey Bezrukov
Ну если "нет" в ответ на вопрос "можно ли использовать" означает "да", то видимо, да, так и сказал.
Ха, я перечитал и точно, вы правы
источник

OG

Oleg Gavrilov in pro.kafka
Но и вы правы что "коммерческое использование" != offering managed services
источник

OG

Oleg Gavrilov in pro.kafka
@gamussa я правильно понял, что я могу использовать ksql и schema registry в продукте, который делаю за деньги и который приносит деньги, если суть продукта не является предоставление kafka как услуги (т.е. я не конкурирую с confluent cloud)?
источник

NC

Nigerian Currywurst in pro.kafka
Подскажите как скрестить консьюмера кафки и роллинг апдейт в кубере: один консьюмер подключается к одному партишену. При обновлении новая версия не может подключится к кафке из-за одинаковой consumer-group
источник