l
Size: a a a
2020 October 07
AC
Nikolay
Спасибо. Это выглядит как то через чур сложным решением для такой простой задачи. Почему просто нельзя настроить ,что одна реплики должны быть в другом dc
broker.rack тебе не поможет?
e
Подскажите, где можно почитать про ротацию логов в папке logs/? Спасибо
GK
Время при котором приходит подтверждение, что оффсет успешно записан, большое из-за этого производительность всего кластера сильно пострадает... Поэтому и не рекомендуется. Можно с таймаутами поиграть и получить даже рабочее решение, но гарантий никах, что оно будет работать хорошо
Это если ДЦ на разных континентах…
ЮХ
Это если ДЦ на разных континентах…
Думаю, что если в разных городах, то влияние тоже будет. Но это чисто мысли в слух
IB
Думаю, что если в разных городах, то влияние тоже будет. Но это чисто мысли в слух
дело даже не в городах, а в качестве канала между дц. у нас цод и резервный цод в одном городе, и мы получали проблемы когда кластер был раскидан между цодами
N
Это дело в лэтэнси. Просто ожидаемо , что она больше чем дальше города. Но ведь она может быть больше и по другой причине
N
Каждые 300км дают 1мс прибавки к лэтэнси как минимум .
N
У нас dc в 30 км друг от друга, но тоже дают 1мс прибавки.
N
Anton Churkin
broker.rack тебе не поможет?
Спасибо. Смотрю. Очень привлекательно выглядит. В доке только описание мутное.
NR
привет всем.
какие есть варианты автоматизированного создания (миграций) топиков? допустим на разработке насоздавали нужных топиков. как перенести их на прод без ручного повторения topics.sh --create?
пока думается 2 варианта:
1. завести некий json с нужной структурой инфы о топиках и на проде каким-нибудь баш-скриптом выполнять.
2. выполнять создание топиков программно в приложении.
какие есть варианты автоматизированного создания (миграций) топиков? допустим на разработке насоздавали нужных топиков. как перенести их на прод без ручного повторения topics.sh --create?
пока думается 2 варианта:
1. завести некий json с нужной структурой инфы о топиках и на проде каким-нибудь баш-скриптом выполнять.
2. выполнять создание топиков программно в приложении.
OG
Вообще, как делается CICD кафки по правильному?
VG
Oleg Gavrilov
Вообще, как делается CICD кафки по правильному?
OG
Вполне даже да, спасибо
GK
привет всем.
какие есть варианты автоматизированного создания (миграций) топиков? допустим на разработке насоздавали нужных топиков. как перенести их на прод без ручного повторения topics.sh --create?
пока думается 2 варианта:
1. завести некий json с нужной структурой инфы о топиках и на проде каким-нибудь баш-скриптом выполнять.
2. выполнять создание топиков программно в приложении.
какие есть варианты автоматизированного создания (миграций) топиков? допустим на разработке насоздавали нужных топиков. как перенести их на прод без ручного повторения topics.sh --create?
пока думается 2 варианта:
1. завести некий json с нужной структурой инфы о топиках и на проде каким-нибудь баш-скриптом выполнять.
2. выполнять создание топиков программно в приложении.
Привет.
Вообще, идея по переносу чего-либо из dev-окружения в prod мне кажется плохой.
Топики лучше всего создавать программно. Для себя мы сделали HTTP Management API, который управляет нашими абстракциями, под капотом которых уже скрываются топики в Кафке. Нигде голые топики (и их создание) не торчат – никто лажу не создаст / ничего не попортит.
Вообще, идея по переносу чего-либо из dev-окружения в prod мне кажется плохой.
Топики лучше всего создавать программно. Для себя мы сделали HTTP Management API, который управляет нашими абстракциями, под капотом которых уже скрываются топики в Кафке. Нигде голые топики (и их создание) не торчат – никто лажу не создаст / ничего не попортит.
М(
число должно быть нечетным
MK
Привет. А я правильно понимаю что Cluster Linking это первое решение, которое сохраняет оффсеты?
И эта штука Confluent Platform specific или будет и в Кафке обычной?
И эта штука Confluent Platform specific или будет и в Кафке обычной?
2020 October 08
VG
Привет. А я правильно понимаю что Cluster Linking это первое решение, которое сохраняет оффсеты?
И эта штука Confluent Platform specific или будет и в Кафке обычной?
И эта штука Confluent Platform specific или будет и в Кафке обычной?
Confluent relicator может сохраняться офсеты. MM2 тоже кажется. Cluster linking это фича Confluent server. Планов contribute ее в Apache Kafka пока нет. Может кто-то напишет KIP и законтрибьютит
MK
Confluent relicator может сохраняться офсеты. MM2 тоже кажется. Cluster linking это фича Confluent server. Планов contribute ее в Apache Kafka пока нет. Может кто-то напишет KIP и законтрибьютит
Я думал MM2 только "транслировал" сохраненные в кафке оффсеты, но не делал их идентичными.