Телеграмм чат группы proKafka страница 1501

Действительно, при включённой host verification между узлами внутри кластера необходимо при указании CN в генерации сертификата узла вводить тот же hostname, что и при задании --ext SAN=DNS:{hostname}

источник

16:25пожаловаться #4

SM

Setplus Mac in pro.kafka

так
а вот возник такой вопрос, т.к. запутался немного

допустим, если два узла: node1 и node2. Запускаю продюсера и консумера с указанием этих двух узлов. Потом роняю первый (node1) узел. В логи продюсера посыпались варнинги след вида:

WARN [Producer clientId=console-producer] 1 partitions have leader brokers without a matching listener, including [test-0] (org.apache.kafka.clients.NetworkClient)

А хотелось бы, чтобы этого не было. Кстати, такое сообщение не появляется, если уронить второй узел.

Это проблема решится, если в advertised.listeners на первом узле добавить второй узел?

источник

16:39пожаловаться #5

SM

Setplus Mac in pro.kafka

Setplus Mac

так
а вот возник такой вопрос, т.к. запутался немного

допустим, если два узла: node1 и node2. Запускаю продюсера и консумера с указанием этих двух узлов. Потом роняю первый (node1) узел. В логи продюсера посыпались варнинги след вида:

WARN [Producer clientId=console-producer] 1 partitions have leader brokers without a matching listener, including [test-0] (org.apache.kafka.clients.NetworkClient)

А хотелось бы, чтобы этого не было. Кстати, такое сообщение не появляется, если уронить второй узел.

Это проблема решится, если в advertised.listeners на первом узле добавить второй узел?

решилось измнением партишенов для топика.

источник

17:55пожаловаться #6

VA

Vektor AB in pro.kafka

λλ

https://spring.io/blog/2019/12/04/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-3-data-deserialization-and-serialization

spring.io

Stream Processing with Spring Cloud Stream and Apache Kafka Streams. Part 3 - Data deserialization and serialization

Part 1 - <a href="https://spring.io/blog/2019/12/02/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-1-programming-model">Programming Model</a>
Part 2 - <a href="https://spring.io/blog/2019/12/03/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-2-programming-model-continued">Programming Model Continued</a>
Continuing on the previous two blog posts, in this series on writing stream processing applications with Spring Cloud Stream and Kafka Streams, now we will look at the details of how these applications handle deserialization on the inbound and serialization on the outbound. 
All three major higher-level types in Kafka Streams - <code>KStream<K,V></code>, <code>KTable<K,V></code> and <code>GlobalKTable<K,V></code> - work with a key and a value. 
With Spring Cloud Stream Kafka Streams support, keys are always deserialized and serialized by using the native <code>Serde</code> mechanism. A <code>Serde</code> is a container object where it provides…

Помогло. То есть указал кастомный SerDe через java конфиг. Спасибо!

источник

19:05пожаловаться #7

λ

λλ in pro.kafka

Vektor AB

Помогло. То есть указал кастомный SerDe через java конфиг. Спасибо!

2020 September 19

VG

Vik Gamov in pro.kafka

Годнота для любителей connect

источник

04:40пожаловаться #9

VG

Vik Gamov in pro.kafka

https://www.confluent.io/blog/kafka-connect-deep-dive-converters-serialization-explained/

Confluent

Kafka Connect Deep Dive – Converters and Serialization Explained | Confluent

One of the more frequent sources of mistakes and misunderstanding around Kafka Connect involves the serialization of data, which Kafka Connect handles using converters. Let’s take a good look at how these work, and illustrate some of the common issues encountered.

источник

04:40пожаловаться #10

2020 September 20

VG

Vik Gamov in pro.kafka

nope

источник

21:39пожаловаться #11

2020 September 21

D

Daria in pro.kafka

Приветствую, товарищи 🙇🏻‍♀️

#экспертkafka #москва #kafka #вакансия
Город и адрес офиса: Москва, м. Белорусская
Формат работы: удаленный, планируют перейти в офисный
Занятость: полная, проектная
Зарплатная вилка: от 300net
Название компании: Selecty - https://jobs.friend.work/selecty/8936
Контакты: @DDashker

💡Суть💡
Банк ищет эксперта, который поможет внедрить систему Kafka, в качестве брокера сообщений. Разработка не предполагается – работа заключается в поддержке системы (помочь её внедрить, а позже автоматизировать).
Важный момент * - могут попросить подключится не в рабочее время для помощи с Kafka

Если интересно узнать больше (или даже хотите скинуть свое резюме) - пишите, не стесняйтесь @DDashker

jobs.friend.work

FriendWork Recruiter — повысьте скорость подбора персонала

Онлайн-сервис для хранения резюме и управления потоком кандидатов. FriendWork Recruiter - это все, что нужно для эффективной работы рекрутера.

источник

10:01пожаловаться #12

PS

Pavel Schekin in pro.kafka

Коллеги кто использует Kafka, помогите разобраться: Есть клиент, он публикует сообщения, есть сервер он обрабатывает. Если сервер я выключаю на некоторое время, отправляю сообщения, после старта он не получает сообщений за время простоя. Я ожидал, что он возьмет свою последнюю прочитанную позицию offset, и подгрузит пропущенное. А он так не делает.
Работаю на nogejs(NestJs)

источник

11:30пожаловаться #13

SB

S B in pro.kafka

Pavel Schekin

Коллеги кто использует Kafka, помогите разобраться: Есть клиент, он публикует сообщения, есть сервер он обрабатывает. Если сервер я выключаю на некоторое время, отправляю сообщения, после старта он не получает сообщений за время простоя. Я ожидал, что он возьмет свою последнюю прочитанную позицию offset, и подгрузит пропущенное. А он так не делает.
Работаю на nogejs(NestJs)

Groupid должен быть тот же самый.

источник

11:32пожаловаться #14

SB

S B in pro.kafka

Ты скорее всего создаёшь новую консьюмер-группу, у которой отсчёт по-умолчанию начинается с последнего сообщения, поэтому ты не видишь предыдущие.

источник

11:33пожаловаться #15

PS

Pavel Schekin in pro.kafka

S B

Ты скорее всего создаёшь новую консьюмер-группу, у которой отсчёт по-умолчанию начинается с последнего сообщения, поэтому ты не видишь предыдущие.

В точку. Спасибо!

источник

11:34пожаловаться #16

SB

S B in pro.kafka

Pavel Schekin

В точку. Спасибо!

Вынеси в конфиг это поле, чтобы для тестовых сред и локальной разработки можно было легко подменять.

источник

11:34пожаловаться #17

PS

Pavel Schekin in pro.kafka

S B

Вынеси в конфиг это поле, чтобы для тестовых сред и локальной разработки можно было легко подменять.

Еще вот: я делаю некоторую работу по получении события. Но эта работа может завершиться неудачей. Можно ли остановить фиксацию смещения? При ошибке в обработке полученного события?

источник

11:36пожаловаться #18

SB

S B in pro.kafka

Pavel Schekin

Еще вот: я делаю некоторую работу по получении события. Но эта работа может завершиться неудачей. Можно ли остановить фиксацию смещения? При ошибке в обработке полученного события?

Это называется «ручным управлением коммитом». Можно, конечно, но для этого тебе необходимо спуститься на более низкий уровень АПИ.

источник

11:38пожаловаться #19

SB

S B in pro.kafka

Зависит от того, какие у тебя SLA и что по требованиям и AP vs CP?

источник

11:38пожаловаться #20