Size: a a a

2020 November 16

A

Alex in pro.kafka
кафка гарантируют порядок только в пределах 1 партиции
источник

A

Alex in pro.kafka
при наличии 2х и более партиций в каком порядке данные из этих партиций покажутся не гарантируется
источник

Z

Zellox in pro.kafka
Alex
при наличии 2х и более партиций в каком порядке данные из этих партиций покажутся не гарантируется
а можно ссылку на эту инфу, пожалуйста.
источник

Z

Zellox in pro.kafka
Alex
кафка гарантируют порядок только в пределах 1 партиции
:) я это уже опытным путем увидел, когда тестовый топик сделал с одной партицией
источник

A

Alex in pro.kafka
Zellox
а можно ссылку на эту инфу, пожалуйста.
это архитектура кафки
источник

A

Alex in pro.kafka
источник

A

Alex in pro.kafka
Kafka’s storage unit is a partition

A partition is an ordered, immutable sequence of messages that are appended to. A partition cannot be split across multiple brokers or even multiple disks.
источник

A

Alex in pro.kafka
Zellox просто я даже и не знаю что вам ответить на ваш вопрос, так как это и плюс и минус кафки

плюс что позволяет скейлить независимо запись без единых точек создания заторов
раскидывание по партициям с кастомным партишинером используется для сегментирования данных (например к ksql вроде как через них джойны проходят, всегда знаешь что в указанной партиции данные изолированы)

минусы: кафка это не топив в контексте того же rabitmq, так как порядок сообщений только в пределах партиции, а не глобально
источник

A

Alex in pro.kafka
любой работающий с этим знаком =)
источник

Z

Zellox in pro.kafka
спасибо  за развернутый ответ
источник

GK

Gregory Koshelev in pro.kafka
https://www.youtube.com/watch?v=A_yUaPARv8U - вот тут подробный разбор, как оно всё работает и почему.
YouTube
Григорий Кошелев — Когда всё пошло по Кафке
Ближайшая конференция — Joker 2020
25-28 ноября, Online
Подробности и билеты: https://jokerconf.com/

. Полезный доклад, в котором не только рассказываются грабли в эксплуатации Apache Kafka, но и объяснены трейд-оффы и архитектурные особенности, которые к этим граблям приводят. Если у вас есть Кафка, то доклад стоит послушать.

Погрузимся в архитектуру компонентов Кафки. Вместе пройдёмся по граблям, которые заботливо собраны в одну презентацию. Постараемся понять, откуда в Кафке взялись различные ограничения. Всё по-честному, никакого маркетинга.

Выбранные для доклада грабли помогут ответить на следующие вопросы:

Что не так с настройками (по умолчанию)?
К каким неожиданностям должны быть готовы клиенты?
Зачем Кафке девопс?
Много настроек — это хорошо или плохо?
О чём забыли написать в документации?
источник

JS

Joe Show in pro.kafka
Добрый день, подскажите, есть ли способ сбросить офсет для активной группы потребителей?
источник

К

Кемель in pro.kafka
Всем здравствуйте!
 kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1
--partitions 1 --topic Hello-Kafka/mnt/host/d/kafka/bin/kafka-run-class.sh: line 318: exec: java: not found
как можно исправить эту ошибку? Java_home установлен правильно
источник

DK

Dmitry K in pro.kafka
Предполагаю что в Path путь к бинарнику нужен, либо  /usr/bin/java симлинку
источник

DK

Dmitry K in pro.kafka
Проще говоря команда java в терминале должна резолваться
источник

AS

Alexander Strakh in pro.kafka
Доброго времени суток!
Кто-нибудь подключал собственную JAAS реализацию аутентификатора?
источник

AS

Alexander Strakh in pro.kafka
Joe Show
Добрый день, подскажите, есть ли способ сбросить офсет для активной группы потребителей?
Только если все клиенты группы отключены!

sudo /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group [groupbane] --topic [topicname] --reset-offsets --to-offset [offset-number] --execute
Сброс для группы [groupname] и топика [topicname] оффсета до [offset-number]
источник

JS

Joe Show in pro.kafka
Alexander Strakh
Только если все клиенты группы отключены!

sudo /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group [groupbane] --topic [topicname] --reset-offsets --to-offset [offset-number] --execute
Сброс для группы [groupname] и топика [topicname] оффсета до [offset-number]
Про это в курсе, спасибо, вопрос именно про активную
источник

AS

Alexander Strakh in pro.kafka
Joe Show
Про это в курсе, спасибо, вопрос именно про активную
Если активную то мне пока известен способ  только насильно отключать клиентов. Обычно они переподключаются потом. Но это мой опыт, если продакшен, не рекомендую такое делать
источник

JS

Joe Show in pro.kafka
Alexander Strakh
Если активную то мне пока известен способ  только насильно отключать клиентов. Обычно они переподключаются потом. Но это мой опыт, если продакшен, не рекомендую такое делать
Для тестов. А принудительно каким способом?
источник