V
а пробовал, читать в это время с помощью kafka-console-consumer с группой --group ну хоть --max-messages 1
брокер хоть данные отдаёт
а то у меня из опыта больше похожего нет, а фантазии тут не помогут
Size: a a a
2020 September 10
IK
2020 September 11
IK
Уважаемые, можно ли в кафке реализовать ответ на определенное сообщение от провайдера?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
V
Уважаемые, можно ли в кафке реализовать ответ на определенное сообщение от провайдера?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
добавить Correlation ID в сообщение по которому потом его идентифицировать
SP
Уважаемые, можно ли в кафке реализовать ответ на определенное сообщение от провайдера?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
То есть я (провайдер) запушиваю сообщение в кафку, оно где-то там обрабатывается, возможно проходит через конвеер, и потом получается ответ именно на мое изначальное , который я хочу как-то консумить. Как это правильно сделать в идеологии кафки?
у сообщения есть ключ. Его можно сделать уникальным, например, используя UUID (GUID) и в ответе просто на него ссылаться. Как вариант, можно этот же ключ делать ключом ответа.
IK
Спасибо, коллеги, буду копать в этом направлении
S
у сообщения есть ключ. Его можно сделать уникальным, например, используя UUID (GUID) и в ответе просто на него ссылаться. Как вариант, можно этот же ключ делать ключом ответа.
Для этого обычно одной кафки мало. Следует использовать ключ-значение хранилище, Cassandra к примеру.
SP
Да, это тоже верно. Кафка умеет одну и ту же очередь сообщений доставлять разным получателям. Поэтому можно одновременно и отслеживать получение новых ответов из топика и как-то на них реагировать и параллельно складывать их в хранилище для произвольного доступа по ключу. Для подключение к БД есть готовые коннекторы
IK
Oh shi
IK
Говорила мне мама “бери реббит"
SP
в некоторых случаях RabbitMQ действительно проще решает задачу.
SP
Говорила мне мама “бери реббит"
https://www.litres.ru/gven-shapira/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh-42225434/ рекомендую эту книгу для понимания как работает Kafka
IK
https://www.litres.ru/gven-shapira/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh-42225434/ рекомендую эту книгу для понимания как работает Kafka
Благодарю, то, что нужно
IB
но на русском ее я бы не советовал (
IB
она в свободном доступе есть в оригинале уже вроде как
АШ
Добрый день! Прошу прощения если вдруг вопрос уже задавали ранее - есть
Получаю исключение
Однако в файле эта секция есть!
Кто сталкивался и успешно решал, помогите пожалуйста.
confluentinc/zookeeper в докере версии 5.0.1. Добавляю SASL в него.Получаю исключение
java.io.IOException: No JAAS configuration section named 'Server' was foundin '/etc/zookeeper/jaas.conf'Однако в файле эта секция есть!
~]# cat /etc/zookeeper/jaas.conf
Server {
org.apache.zookeeper.server.auth.DigestLoginModule required
user_admin=«пароль»;
};Кто сталкивался и успешно решал, помогите пожалуйста.
N
Делаю такой эксперимент. Пытаюсь найти сколько одним продьюсером можно максимально в минуту прокачать. выбрал такие сообщения, чтобы они не сжимались : 3 рэндомных числа short,int,int. Посставил batch size в 1М. ack в 0. чтобы сначала понять максимальный сроупут. скомпилил и запускаю прям с сервера, где кафка установлена, чтобэ лэтенси был минимальный. И пока удалось только 15Мб/sec. как ускорить?