MS
Я про то, что если ты будешь хранить оффсеты где-то в другом месте, то будет ситуация, что твои сохранённые разошлись с тем, что по факту. И что бы такое не происходило, нужно приседать. Нужно ли это?
Size: a a a
2020 September 01
IR
а это да
IR
прав
V
Я про то, что если ты будешь хранить оффсеты где-то в другом месте, то будет ситуация, что твои сохранённые разошлись с тем, что по факту. И что бы такое не происходило, нужно приседать. Нужно ли это?
Почему? С хранением отдельно есть гарантия сохранения записи об обработки вместе с офсетом в одной транзакции, а если персистить в Кафке, консистентность не гарантируется
GK
Vlad
Почему? С хранением отдельно есть гарантия сохранения записи об обработки вместе с офсетом в одной транзакции, а если персистить в Кафке, консистентность не гарантируется
☝️this
VG
Переслано от Vik Gamov
Всех с днем знаний. Приходите на стрим
https://youtu.be/rblw9AMyqEU
https://youtu.be/rblw9AMyqEU
2020 September 02
SP
https://issues.apache.org/jira/browse/KAFKA-10134 кто-то сталкивался с этой проблемой? у нас вылазит в полный рост. вроде есть фикс на 2.6.0 но как-то стремно тк так там опять все поменяли ...
SP
у нас воспроизводится на 2.4.1, 2.5.0, 2.5.1
АИ
Всем добрый день, подскажите где смотреть
Синхронизируюсь Kafka через kafka-rest
Создаю подписчика с параметрами
{
"name": "my_consumer",
"format": "binary",
"auto.offset.reset": "earliest",
"auto.commit.enable": "false"
}
Во время теста, прям в браузере перехожу
http://server_name/consumers/testgroup/instances/my_consumer/records
И он показывает все сообщения для подписчика,
при обновлении страницы уже [] пусто.
Я так понимаю как будто работает auto.commit.enable = true
Насколько понял в документации, он должен мне выдавать все сообщения пока я вручную не проставлю, но сейчас он автоматически commit ставит получается.
Синхронизируюсь Kafka через kafka-rest
Создаю подписчика с параметрами
{
"name": "my_consumer",
"format": "binary",
"auto.offset.reset": "earliest",
"auto.commit.enable": "false"
}
Во время теста, прям в браузере перехожу
http://server_name/consumers/testgroup/instances/my_consumer/records
И он показывает все сообщения для подписчика,
при обновлении страницы уже [] пусто.
Я так понимаю как будто работает auto.commit.enable = true
Насколько понял в документации, он должен мне выдавать все сообщения пока я вручную не проставлю, но сейчас он автоматически commit ставит получается.
AL
Приветствую.
Есть k8s, есть сервис-продюсер транзакционный. Предполагается что количество реплик сервиса > 1
*Каким* образом назначать transaction.id?
*Не вполне* понятно, а что будет (как и на что повлияет) если при каждой новой сессии продюсера TID будет уникальным?
Есть k8s, есть сервис-продюсер транзакционный. Предполагается что количество реплик сервиса > 1
*Каким* образом назначать transaction.id?
*Не вполне* понятно, а что будет (как и на что повлияет) если при каждой новой сессии продюсера TID будет уникальным?
S
Добрый день. Пишу свой синк коннектор. В исходящем топике данные в виде json. Видам json соответствуют схемы, которые лежат отдельно. Не хочу их держать в самом коннекторе. Регистрацию схем в schema-registry делать вручную на этапе CI/CD а потом по http при инициализации конеектора получать? Может есть какие другие подходы?
ЧП
Приветствую.
Есть k8s, есть сервис-продюсер транзакционный. Предполагается что количество реплик сервиса > 1
*Каким* образом назначать transaction.id?
*Не вполне* понятно, а что будет (как и на что повлияет) если при каждой новой сессии продюсера TID будет уникальным?
Есть k8s, есть сервис-продюсер транзакционный. Предполагается что количество реплик сервиса > 1
*Каким* образом назначать transaction.id?
*Не вполне* понятно, а что будет (как и на что повлияет) если при каждой новой сессии продюсера TID будет уникальным?
Присоединюсь к вопросу. Мы сделали также (генерили UUID) За год работы ничего страшного не случилось, но хотелось бы знать о возможных подводных камнях, если они все же есть
AS
2020 September 03
ДК
Кафка коннектор к оракловой БД генерит вот такие запросы
Что это за 'xxx' такой вообще?
SELECT NULL AS table_cat ,
o.owner AS table_schem,
o.object_name AS table_name ,
o.object_type AS table_type ,
NULL AS remarks
FROM all_objects o
WHERE o.owner LIKE :1 ESCAPE '/'
AND o.object_name LIKE :2 ESCAPE '/'
AND o.object_type IN ('xxx', 'TABLE')
ORDER BY table_type,
table_schem,
table_name
Что это за 'xxx' такой вообще?
O
Кафка коннектор к оракловой БД генерит вот такие запросы
Что это за 'xxx' такой вообще?
SELECT NULL AS table_cat ,
o.owner AS table_schem,
o.object_name AS table_name ,
o.object_type AS table_type ,
NULL AS remarks
FROM all_objects o
WHERE o.owner LIKE :1 ESCAPE '/'
AND o.object_name LIKE :2 ESCAPE '/'
AND o.object_type IN ('xxx', 'TABLE')
ORDER BY table_type,
table_schem,
table_name
Что это за 'xxx' такой вообще?
это сам драйвер оракла генерит, думаю