FL
Переключение обратно в него.
Я уже смотрю в сторону mirror maker2, чтобы реплицировать топики и не знать горя.
Я уже смотрю в сторону mirror maker2, чтобы реплицировать топики и не знать горя.
Size: a a a
2020 November 26
GK
Если реплицировать топики, то (насколько я знаю), оффсеты всё равно не сохранятся.
GK
При переключении обратно возможна ситуация переупорядочивания сообщений:
R1 – событие записано в первый кластер. Consumer не успел прочитать и кластер упал.
R2 – событие записано во второй кластер. Consumer его прочитал.
Первый кластер ожил и обработка перешла на него и Consumer прочитал R1.
Итого:
Producer Order: R1, R2.
Consumer Order: R2, R1.
R1 – событие записано в первый кластер. Consumer не успел прочитать и кластер упал.
R2 – событие записано во второй кластер. Consumer его прочитал.
Первый кластер ожил и обработка перешла на него и Consumer прочитал R1.
Итого:
Producer Order: R1, R2.
Consumer Order: R2, R1.
GK
И нет никаких гарантий, что Consumer вовремя переключился на первый кластер (т.е. дочитал всё из второго).
GK
Слишком сложная логика получается и много мест, где возможны ошибки. Лучше, если это будут разные Consumer, ИМХО.
FL
При переключении обратно возможна ситуация переупорядочивания сообщений:
R1 – событие записано в первый кластер. Consumer не успел прочитать и кластер упал.
R2 – событие записано во второй кластер. Consumer его прочитал.
Первый кластер ожил и обработка перешла на него и Consumer прочитал R1.
Итого:
Producer Order: R1, R2.
Consumer Order: R2, R1.
R1 – событие записано в первый кластер. Consumer не успел прочитать и кластер упал.
R2 – событие записано во второй кластер. Consumer его прочитал.
Первый кластер ожил и обработка перешла на него и Consumer прочитал R1.
Итого:
Producer Order: R1, R2.
Consumer Order: R2, R1.
Спасибо, да, в обратную сторону я пока не думал :)
FL
Буду пробовать
А
можно ли как то разделить доступ в рамках одного кластера кафки для разных тестовых сред? чтобы не поднимать по кластеру кафки для каждого стенда. Т.е. чтобы каждый стенд использовал одни и те же названия топиков, но при этом как минимум не конфликтовал с соседями, как максимум видел только свои?
EB
Александр
можно ли как то разделить доступ в рамках одного кластера кафки для разных тестовых сред? чтобы не поднимать по кластеру кафки для каждого стенда. Т.е. чтобы каждый стенд использовал одни и те же названия топиков, но при этом как минимум не конфликтовал с соседями, как максимум видел только свои?
Лучше вынести названия топиков в конфиг, поднять одну стейджинговую кафку и использовать топики с префиксом стейджинга
А
Лучше вынести названия топиков в конфиг, поднять одну стейджинговую кафку и использовать топики с префиксом стейджинга
это первое, что приходит в голову, но есть некоторые опасения что кто-нибудь случайно или запишет или удалит чужое, а потому будем искать откуда баги полезли
EB
Александр
это первое, что приходит в голову, но есть некоторые опасения что кто-нибудь случайно или запишет или удалит чужое, а потому будем искать откуда баги полезли
Решая это техническим путём проблем будет больше
А
понял, спасибо
EB
Проще решить проблемы орг характера
VG
Именно так. Разные цоды, нужен DR, потому два кластера.
Консьюмер тоже переключится на второй кластер.
Консьюмер тоже переключится на второй кластер.
Посмотри мой доклад с девупса прошлого. Я там разные сценарии multi DC рассказывал и с каким проблемами можно столкнуться https://youtu.be/nQd209e9eCY
FL
Посмотри мой доклад с девупса прошлого. Я там разные сценарии multi DC рассказывал и с каким проблемами можно столкнуться https://youtu.be/nQd209e9eCY
👍 Спасибо, посмотрю
IS
Привет всем, кто-нибудь встречался с проблемой что все хорошо, продюсер джава клиента спокойно делает producer.send() а потом раз и начинает кидать джавовый java.lang.IllegalMonitorStateException? лечится перезапуском только
ГЕ
Александр
можно ли как то разделить доступ в рамках одного кластера кафки для разных тестовых сред? чтобы не поднимать по кластеру кафки для каждого стенда. Т.е. чтобы каждый стенд использовал одни и те же названия топиков, но при этом как минимум не конфликтовал с соседями, как максимум видел только свои?
Можно, например, поднимать кафку в контейнерах. Для каждой среды свой контейнер. Возможно, для тестов не нужен именно кластер, хватит и одного брокера. Хотя смотря что тестируем, конечно.
2020 November 27
SG
Всем привет! Кто-нибудь юзал https://metron.apache.org/current-book/metron-sensors/fastcapa/index.html имеет ли смысл на 10Г трафике?
YY
Всем добрый день!
Я представляю компанию Нетология-групп и занимаюсь поиском экспертов для организации корпоративного обучения.
В настоящий момент есть запрос от компании из банковского сектора на тренинг по теме Apache Kafka. Есть ли здесь желающие выступить в качестве эксперта?
Заранее спасибо 😊
Я представляю компанию Нетология-групп и занимаюсь поиском экспертов для организации корпоративного обучения.
В настоящий момент есть запрос от компании из банковского сектора на тренинг по теме Apache Kafka. Есть ли здесь желающие выступить в качестве эксперта?
Заранее спасибо 😊
AB
Привет, кто-нибудь знает, как со стандартным java api поймать кейс, когда брокер недоступен? В таком случае на poll() возвращается пустая коллекция рекордов и в лог пишется ворнинг. Но пустая коллекция возможна и когда нет новых сообщений, как отличить эти два кейса?