В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1911 membersпожаловаться на группу
2020 September 04

S

Sirozha in pro.kafka
Понял
источник
13:12пожаловаться#1

S

Slava in pro.kafka
Name Schiefer
Косьюмер плюется что не может зафетчить оффсеты
А консьюмер точно раньше не читал из топика с тем же именем? Возможно, это сохранённые оффсеты. Есть значения оффсетов в логе?
источник
15:22пожаловаться#2

NS

Name Schiefer in pro.kafka
Топик пустой
источник
15:22пожаловаться#3

S

Slava in pro.kafka
Name Schiefer
Топик пустой
Да это понятно. Вопрос не в этом же.
источник
15:23пожаловаться#4

S

Slava in pro.kafka
Если раньше существовал топик с тем же именем и из него читалось что-то, то например в спарке эта инфа останется в чекпоинте.
источник
15:23пожаловаться#5

S

Slava in pro.kafka
Я только вступил в группу. Сорри, если не понял контекст. Здесь не упоминается что за консьюмер. Я обычно со спарком работаю, а у вас что?
источник
15:25пожаловаться#6

NS

Name Schiefer in pro.kafka
Slava
Я только вступил в группу. Сорри, если не понял контекст. Здесь не упоминается что за консьюмер. Я обычно со спарком работаю, а у вас что?
Жава клиент
источник
15:30пожаловаться#7

S

Slava in pro.kafka
Name Schiefer
Жава клиент
Может на код тогда посмотрим? Как консьюмите?
источник
15:39пожаловаться#8

VG

Vik Gamov in pro.kafka
Name Schiefer
Вопрос: когда генерятся оффсеты
Когда продюсер запишет
источник
16:38пожаловаться#9

V

Vadim in pro.kafka
а как-то можно посмотреть текущий размер логов кафки
источник
18:08пожаловаться#10

IK

Igor K in pro.kafka
есть такая тула kafka-log-dirs, если ты про размер данных в кафке
источник
18:15пожаловаться#11

V

Vadim in pro.kafka
на describe Он огромный жсон выдает
источник
18:19пожаловаться#12

V

Vadim in pro.kafka
где-то там размер логов общих есть видимо? чтобы оценить насколько далеки от политики по log.retention.bytes
источник
18:20пожаловаться#13

IK

Igor K in pro.kafka
я через jq считал, там выдаёт по брокерно и по каждой партиции отдельно
источник
18:23пожаловаться#14

AC

Anton Churkin in pro.kafka
kafka_exporter норм, но нужен прометеус
источник
18:25пожаловаться#15

IK

Igor K in pro.kafka
Vadim
на describe Он огромный жсон выдает
тип того, ну это от фантазии зависит
kafka-log-dirs --bootstrap-server localhost:9092 --topic-list __consumer_offsets --describe | grep '^{' | jq '[ ..|.size? | numbers ] | add'
источник
18:25пожаловаться#16

VA

Vektor AB in pro.kafka
Используя кафка стримы можно фильтровать поток на дубликаты ключей в заданный период времени? Это как-то через KTable делается?
источник
22:34пожаловаться#17

VG

Vik Gamov in pro.kafka
Vektor AB
Используя кафка стримы можно фильтровать поток на дубликаты ключей в заданный период времени? Это как-то через KTable делается?
https://kafka-tutorials.confluent.io/finding-distinct-events/kstreams.html
kafka-tutorials.confluent.io
Kafka Streams Tutorial: How to find distinct values in a stream of events using Kafka Streams
using Kafka Streams with full code examples. Find and contribute more Kafka tutorials with Confluent, the real-time event streaming experts.
источник
22:36пожаловаться#18

VG

Vik Gamov in pro.kafka
Пример без окон, но не сложно добавить
источник
22:36пожаловаться#19

VA

Vektor AB in pro.kafka
Vik Gamov
Пример без окон, но не сложно добавить
Благодарю!
источник
22:36пожаловаться#20