Size: a a a

2021 January 22

AK

Andrei Kogun in pro.kafka
Denis Pavlyuchenko
эх, джуги, оффлайн конференции, что может быть лучше.. Во времена то были! :)
они вернутся, я верю )
источник

IS

Ivan S in pro.kafka
@gamussa Ну, прямо сейчас это что-то типа единоразовой миграции в данных.
Я заметил что метод итератора all() - возвращает пустоту если зашедулено с wall clock time.
Со своей текущей задачей про миграцию я разобрался, но вспомнил что в одном из приложений у нас была проблема с зависшими данными в стейт сторах.
В том приложении ttl на записи в сторах реализован через punctuate с wall clock time.
источник
2021 January 23

NK

ID:0 in pro.kafka
​​Забыл тут еще написать, что давеча ходил в гости к коллегам из JetBrains (но еще до того она стали obscure Russian company - ставь 👍 если понял reference).
Говорили про Kotlin, Spring Cloud Stream, и Кафку. Происходило все в формате live coding-а.
Если вам такое по душе, ссылка естественно прилагается! Приятного просмотра
источник

A

Artjom Kalita in pro.kafka
@gamussa я знаю у тебя наверняка есть что-то годное спрятано послушать про кафку и CQRS :)
источник

DL

Denis Larionov in pro.kafka
ID:0
​​Забыл тут еще написать, что давеча ходил в гости к коллегам из JetBrains (но еще до того она стали obscure Russian company - ставь 👍 если понял reference).
Говорили про Kotlin, Spring Cloud Stream, и Кафку. Происходило все в формате live coding-а.
Если вам такое по душе, ссылка естественно прилагается! Приятного просмотра
К кому ссылка прилагается?
источник

A

Alexey in pro.kafka
источник

A

Anton in pro.kafka
Всем привет. Я всегда считал что у кафки есть только брокеры и партиции, но недавно вот что прочел:
На каждой шарде будут все партиции топика, каждая шарда на своей ноде


Шард и брокер это разве не одно и то же?  Точнее, разные стороны одного и того же

Вот что я понял:
Кафка, это бд, и шардированием называется у нее репликация на разные партиции в разные брокеры.

Т.е брокер + определенная партиция = шард, так?

Из этой статьи http://cloudurable.com/blog/kafka-architecture-low-level/index.html
Kafka’s sharding is called partitioning


опять же про ноды, это же и есть брокер? Т.е нода кафки = сервер кафки, а на сервере кафки крутится брокер.
+ вот здесь https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-brokers.html написано
A Kafka server, a Kafka broker and a Kafka node all refer to the same concept and are synonyms

а еще ссылка на скаладок кафки, где класс называется KafkaServer, но в комментах
/** * 
Represents the lifecycle of a single Kafka broker.
Handles all functionality required to start up and shutdown a single Kafka node.
*/
источник

A

Anton in pro.kafka
И еще вопрос, на одном брокере можно размещать больше 1 партиции для топика, если у нас несколько консьюмеров? Или лучше на одном брокере размещать только 1 партицию для топика?
источник

IT

Ihar Tigar in pro.kafka
как бы тебя еще больше не запутать
источник

IT

Ihar Tigar in pro.kafka
шардирование - это скорее обстрактное понятие разделение данных
источник

IT

Ihar Tigar in pro.kafka
сам термин пришел из БД
источник

IT

Ihar Tigar in pro.kafka
источник

IT

Ihar Tigar in pro.kafka
в кафшке шардирование обеспечивается партиционированием топиков
источник

IT

Ihar Tigar in pro.kafka
если попытатся вывести понятия в ряд, есть кластера => на них есть обстрактное понятие топиков => которые в свою очередь "шардируются" на портиции
источник

A

Anton in pro.kafka
Ihar Tigar
шардирование - это скорее обстрактное понятие разделение данных
да,  поэтому я и удивился тому, что используются другие термины
источник

A

Anton in pro.kafka
Ihar Tigar
если попытатся вывести понятия в ряд, есть кластера => на них есть обстрактное понятие топиков => которые в свою очередь "шардируются" на портиции
окей, но партиции существуют не сами по себе, а вместе с брокерами. Куда в эту цепочку нужно вставить брокер?)
источник

IT

Ihar Tigar in pro.kafka
почему-то не могу сбросить картинку. Но брокер, это где непосредственно физический хранятся партиции
источник

A

Anton in pro.kafka
Ihar Tigar
почему-то не могу сбросить картинку. Но брокер, это где непосредственно физический хранятся партиции
мб imgur?
источник

A

Anton in pro.kafka
источник

A

Anton in pro.kafka
Тут конечно нужно говорить с тем, кто это писал, но вот что мне кажется странным
На каждой шарде будут все партиции топика, каждая шарда на своей ноде
Шард и есть брокер + партиция? Нода - это тоже брокер. Как тогда шард может быть на ноде?
источник