В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2154 membersпожаловаться на группу
2020 December 23

KS

Kostya Struga in pro.kafka
terancet
Народ,

подскажите, пожалуйста, а куда смотреть, что бы разогнать consumer (увеличит throughput) без добавления новых партиций? К сожалению, confluent cloud не умеет добавлять налету новые партиции

Мой кейс следующий: есть consumer, который написан с использованием  spring Kafka binder streams. Он читает из топика, делает конвертацию и делает post request на внешний http. У топика одна партиция.
поиграться с размером батча
источник
18:07пожаловаться#1

KS

Kostya Struga in pro.kafka
terancet
Все таки хотелось бы разогнать сам consumer, а потом уже горизонтально скейлиться.
https://medium.com/@vijaya.cigala/consuming-messages-in-batch-mode-in-kafka-using-spring-cloud-stream-kafka-binder-28d782f979cc
Medium
Consuming messages in batch mode in Kafka using Spring Cloud Stream Kafka Binder
Recently I was working on Kafka to solve a problem for data ingestion. We intended to consume Kafka messages and store them in a DB.
источник
18:09пожаловаться#2

t

terancet in pro.kafka
Kostya Struga
https://medium.com/@vijaya.cigala/consuming-messages-in-batch-mode-in-kafka-using-spring-cloud-stream-kafka-binder-28d782f979cc
Medium
Consuming messages in batch mode in Kafka using Spring Cloud Stream Kafka Binder
Recently I was working on Kafka to solve a problem for data ingestion. We intended to consume Kafka messages and store them in a DB.
sticker.webp
(14.6 Кб)
источник
18:36пожаловаться#3

t

terancet in pro.kafka
Кажется то, что нужно
источник
18:36пожаловаться#4

t

terancet in pro.kafka
Спасибо
источник
18:36пожаловаться#5

KS

Kostya Struga in pro.kafka
sticker.webp
(59.81 Кб)
источник
18:36пожаловаться#6

VG

Vik Gamov in pro.kafka
Евгений Кирин
Хотелось бы чтобы была информация про семантику exactly-once, но не только со стороны конфига брокера, а так же со стороны клиентской библиотеки (producer), если она отваливается (в этом случае возможен дубликат). А также нет ничего про kstreams.
https://youtu.be/PgkRhlUwYyE
YouTube
Виктор Гамов — Один раз в год сады цветут: разбор семантики «exactly once» Apache Kafka
. Disclaimer: Если вас триггерит от слов «exactly-once delivery», то этот доклад обязателен к просмотру!

Рост популярности Apache Kafka как потоковой платформы потребовал пересмотра традиционной «как минимум один раз» (at least once) семантики доставки сообщений. В этом докладе Виктор расскажет, что означает семантика «exactly once» в контексте Apache Kafka, какие изменения в протоколе и формате сообщений потребовались, как устроены транзакции и идемпотентные функции Kafka-клиентов. Также поговорим о том, как эти нововведения нашли свое отражение в смежных фреймворках — Kafka Streams и Kafka Connect.
источник
20:31пожаловаться#7

VG

Vik Gamov in pro.kafka
terancet
Народ,

подскажите, пожалуйста, а куда смотреть, что бы разогнать consumer (увеличит throughput) без добавления новых партиций? К сожалению, confluent cloud не умеет добавлять налету новые партиции

Мой кейс следующий: есть consumer, который написан с использованием  spring Kafka binder streams. Он читает из топика, делает конвертацию и делает post request на внешний http. У топика одна партиция.
Что значит "на лету не умеет"?
источник
20:35пожаловаться#8

VG

Vik Gamov in pro.kafka
terancet
Все таки хотелось бы разогнать сам consumer, а потом уже горизонтально скейлиться.
Так не работает
источник
20:35пожаловаться#9

t

terancet in pro.kafka
Vik Gamov
Что значит "на лету не умеет"?
В UI Confluent Cloud нет опции обновления количества партиций после того как создан новый топик.
источник
20:57пожаловаться#10

t

terancet in pro.kafka
Vik Gamov
Так не работает
Что ты имеешь ввиду?
источник
20:57пожаловаться#11

VG

Vik Gamov in pro.kafka
terancet
В UI Confluent Cloud нет опции обновления количества партиций после того как создан новый топик.
А если через cli? https://docs.confluent.io/ccloud-cli/current/command-reference/kafka/topic/ccloud_kafka_topic_update.html
источник
21:03пожаловаться#12

t

terancet in pro.kafka
Vik Gamov
А если через cli? https://docs.confluent.io/ccloud-cli/current/command-reference/kafka/topic/ccloud_kafka_topic_update.html
Не пробовал. Но будет странно, что можно будет через cli обновить количество партиций, но нельзя через web морду.
источник
21:09пожаловаться#13

VG

Vik Gamov in pro.kafka
terancet
Не пробовал. Но будет странно, что можно будет через cli обновить количество партиций, но нельзя через web морду.
Я не буду удивлен
источник
21:10пожаловаться#14

VG

Vik Gamov in pro.kafka
terancet
Не пробовал. Но будет странно, что можно будет через cli обновить количество партиций, но нельзя через web морду.
Also, в саппорт писал?
источник
21:12пожаловаться#15

t

terancet in pro.kafka
Vik Gamov
Also, в саппорт писал?
Неа. Пока что руки не дошли до саппорта.
источник
21:12пожаловаться#16
2020 December 24

A

Asviel in pro.kafka
Коллеги, приветствую. Подскажите пожалуйста как Кафка обрабатывает commit от Consumer? Меня интересует в какой момент кафка считает сообщение для ConsumerGroup прочитанным? Когда лидер партиции запишет в свой лог коммит или когда хотя бы на одном фолловере лидера будет тоже подтверждено что данное сообщение прочитано?
источник
17:25пожаловаться#17

SB

Sergey Bezrukov in pro.kafka
Asviel
Коллеги, приветствую. Подскажите пожалуйста как Кафка обрабатывает commit от Consumer? Меня интересует в какой момент кафка считает сообщение для ConsumerGroup прочитанным? Когда лидер партиции запишет в свой лог коммит или когда хотя бы на одном фолловере лидера будет тоже подтверждено что данное сообщение прочитано?
Лидер партиции тут особо не при делах, оффсеты хранятся в специальных топиках со своими настройками репликации и времени жизни.
источник
18:01пожаловаться#18

A

Asviel in pro.kafka
Sergey Bezrukov
Лидер партиции тут особо не при делах, оффсеты хранятся в специальных топиках со своими настройками репликации и времени жизни.
Это я понимаю. Меня интересует следующая ситуация:
1. Я вызвал коммит на консьмере
2. Кафка записала этот комит в __consumer_offsets
Теперь вопрос, она мне отдаст подтверждение, что коммит успешно прошел сейчас или она сначала дождется пока все реплики согласно replication factor (последователи для этого раздела) подтвердят, что они сдвинули коммит у себя?
источник
18:04пожаловаться#19

SB

Sergey Bezrukov in pro.kafka
Asviel
Это я понимаю. Меня интересует следующая ситуация:
1. Я вызвал коммит на консьмере
2. Кафка записала этот комит в __consumer_offsets
Теперь вопрос, она мне отдаст подтверждение, что коммит успешно прошел сейчас или она сначала дождется пока все реплики согласно replication factor (последователи для этого раздела) подтвердят, что они сдвинули коммит у себя?
Это сложно сказать. Надо доку читать, что там на этот счёт.
источник
18:23пожаловаться#20