Size: a a a

2020 March 12

A.

Alex .~• in pro.kafka
Аааа
источник

S🕶

Sander 🕶 in pro.kafka
мне надо чтоб другие контейнеры ждали - пока запустится один
источник

S🕶

Sander 🕶 in pro.kafka
ну я попробовал разные способы - не работает оно с докером
источник

АБ

Алексей Быстрый in pro.kafka
docker-compose
источник

S🕶

Sander 🕶 in pro.kafka
ну нашел скриптик
источник

A.

Alex .~• in pro.kafka
!
источник

S🕶

Sander 🕶 in pro.kafka
а я через что делаю?
источник

АБ

Алексей Быстрый in pro.kafka
Sander 🕶
а я через что делаю?
Плохо делаешь
источник

S🕶

Sander 🕶 in pro.kafka
depend_on не работает
источник

S🕶

Sander 🕶 in pro.kafka
он все равно запускает, там нужен checker
источник

S🕶

Sander 🕶 in pro.kafka
я пробовал запускать через healthcheck - тоже не вижу результата
источник

АБ

Алексей Быстрый in pro.kafka
Аппка умирает если нет коннекта?
источник

АБ

Алексей Быстрый in pro.kafka
Если да - поставить рестарт
источник

S🕶

Sander 🕶 in pro.kafka
долго подниматься будет там же spring
источник

S🕶

Sander 🕶 in pro.kafka
лучше все токи проверка на health
источник

A

Anatoly Soldatov in pro.kafka
Sergei Beilin
Как эксплуататор нескольких сервисов с "двойной записью", говорю ответственно - это зло. Укусит в самый неподходящий момент. Надо отдать должное, применение "двойной записи" позволило нам гораздо быстрее двигаться, и в более критичных местах мы её впоследствии выпилили. Но тут важно а) понимать риски б) управлять бэклогом и техническим долгом.
А расскажи подробнее где это выстрелило?:) мы тоже решили, что dual write плохо и сразу без него сделали, теперь проблемы только в теории знаем, но интересно услышать живые примеры
источник

AM

Alexey Mravyan in pro.kafka
Коллеги, столкнулся со странной ситуацией: не из всех партишенов в топике удаляются данные согласно установленному на топик retention.ms.
Кластер из 4х брокеров kafka_2.11, 8 партиций в топике, фактор репликации 2. Ретeншн на топик - 6 часов. В итоге сейчас в одной партиции нет данных старше 6 часов, в двух - старше 12 часов, в остальных данные двухдневной давности.
Картинка с размерами партиций для иллюстрации.
Подскажите, пожалуйста, куда копать и что крутить?
источник

AD

Aleh Danilovich in pro.kafka
А сегментов сколько ? Какие настройки по сегментации ? log.segment.bytes? lsegment.ms ?
источник

A

Anatoly Soldatov in pro.kafka
Alexey Mravyan
Коллеги, столкнулся со странной ситуацией: не из всех партишенов в топике удаляются данные согласно установленному на топик retention.ms.
Кластер из 4х брокеров kafka_2.11, 8 партиций в топике, фактор репликации 2. Ретeншн на топик - 6 часов. В итоге сейчас в одной партиции нет данных старше 6 часов, в двух - старше 12 часов, в остальных данные двухдневной давности.
Картинка с размерами партиций для иллюстрации.
Подскажите, пожалуйста, куда копать и что крутить?
Данные в партициях разбиты по сегментам (файлам на диске). Кафка не удаляет активные сегменты (те те, в которые сейчас идёт запись) и периодически создаёт новые сегменты, делая их активными
Если вы хотите примерно 6 часов, настройте ротацию сегментов более частую или их размер поменьше сделайте (дефолтный - гигабайт)
источник

VG

Vik Gamov in pro.kafka
Andrey Ponomarev
Доброе утро. Есть задача переливать данные из кафки заказчика в нашу. Стоим перед выбором: миррор мейкер, uReplicator или допиливать свое приложение (падает при ребалансе кластера-источника). Поделитесь опытом-советами пожалуйста
если есть деньги - купите Skyrim Confluent replicator
источник