В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

2142 membersпожаловаться на группу
2020 December 17

S

Slava in pro.kafka
Nick
мож топикстратер ответит, но чую что нет возможности или желания ставить какуюнить бд рядом, а какфка уже есть и походу не своя
Да я всё жду когда народ уже успокоится, кафка отличная штука, но она не создана решать любую проблему.
Иногда надо найти в себе силы и сказать: "Да, я модный парень, наша компания в тренде, но мы не будем использовать кафку, она нам не подходит." ;)
источник
21:52пожаловаться#1

AM

Alexey Melchakov in pro.kafka
Поправьте, если ошибаюсь, но мне кажется в хедеры бизнес логику не очень пихать. С т.з. архитектуры. Например, та же операция join в dsl не имеет доступа к хедерам.
источник
21:56пожаловаться#2

NC

Nigerian Currywurst in pro.kafka
Alexey Melchakov
Поправьте, если ошибаюсь, но мне кажется в хедеры бизнес логику не очень пихать. С т.з. архитектуры. Например, та же операция join в dsl не имеет доступа к хедерам.
Type_id спринг сам туда запихивает и читает
источник
21:57пожаловаться#3

S

Slava in pro.kafka
Alexey Melchakov
Поправьте, если ошибаюсь, но мне кажется в хедеры бизнес логику не очень пихать. С т.з. архитектуры. Например, та же операция join в dsl не имеет доступа к хедерам.
С хедерами почти всегда сложно работать, да
я просто хотел предложить все возможные варианты решения проблемы. Честно не знаю, что умеет коннект или что подразумевается под dsl. Я здесь из-за слова kafka в названии группы ;)
источник
22:00пожаловаться#4

IK

Ilya Kaznacheev in pro.kafka
Господа, а что будет, если консумеров в группе больше, чем партиций в топике?
источник
23:03пожаловаться#5

Y

Yuriy in pro.kafka
Ilya Kaznacheev
Господа, а что будет, если консумеров в группе больше, чем партиций в топике?
Они будут простаивать
источник
23:06пожаловаться#6

IK

Ilya Kaznacheev in pro.kafka
Yuriy
Они будут простаивать
Спасибо
источник
23:06пожаловаться#7

Y

Yuriy in pro.kafka
Они 1-1 работают
источник
23:06пожаловаться#8

A

Andrey in pro.kafka
А Kafka Streams использует RocksDB на стороне клиентского приложения или просто как способ резервного хранения стейта на самом кластере?
источник
23:21пожаловаться#9

VG

Vik Gamov in pro.kafka
Andrey
А Kafka Streams использует RocksDB на стороне клиентского приложения или просто как способ резервного хранения стейта на самом кластере?
Да
источник
23:24пожаловаться#10

A

Andrey in pro.kafka
😊 я там два варианта описал, какой из них "да"?
источник
23:24пожаловаться#11

VG

Vik Gamov in pro.kafka
Локальный стейт приложения хранится в rocksdb. Использует кафку чтобы этот стейт реплицировать. На самом деле ktable может вообще обратно в кафку не попасть (если не сделать toStream().to())
источник
23:26пожаловаться#12

A

Andrey in pro.kafka
Понял, то есть он сам создаст интернальный топик для репликации с policy=compact?
источник
23:29пожаловаться#13

VG

Vik Gamov in pro.kafka
Andrey
Понял, то есть он сам создаст интернальный топик для репликации с policy=compact?
Да, changelog log compacted
источник
23:30пожаловаться#14

A

Andrey in pro.kafka
А сильно влияет скорость дисков на rocksdb? Я к тому что наверняка его желательно тогда натравить на файловую систему в памяти раз оно и так бэкапится, вопрос стоит ли так заморачиваться?
источник
23:33пожаловаться#15
2020 December 18

ГД

Григорий Доможиров... in pro.kafka
Друзья, здравствуйте. Простите, если избитый вопрос: как лучше очистить топик от сообщений? Я знаю 3 способа: пересоздать топик, временно поставить низкий retention, руками поудалять лог-файлы. Как правильно?
источник
10:58пожаловаться#16

ПГ

Павел Гордеев... in pro.kafka
Григорий Доможиров
Друзья, здравствуйте. Простите, если избитый вопрос: как лучше очистить топик от сообщений? Я знаю 3 способа: пересоздать топик, временно поставить низкий retention, руками поудалять лог-файлы. Как правильно?
Привет
У тебя место закончилось или просто нужно не читать уже имеющиеся сообщения?
Если сообщения пропустить нужно, то поставь слушателю latest консольной утилитой, если место почистить,  то я руками чищу. Может я тоже неправильно делаю,  но проблем пока не было из-за этого
источник
11:12пожаловаться#17

KT

Kirill T in pro.kafka
Павел Гордеев
Привет
У тебя место закончилось или просто нужно не читать уже имеющиеся сообщения?
Если сообщения пропустить нужно, то поставь слушателю latest консольной утилитой, если место почистить,  то я руками чищу. Может я тоже неправильно делаю,  но проблем пока не было из-за этого
Павел, а как вы чистите руками? Иногда сталкиваюсь с проблемой экстренного освобождения места.
источник
11:13пожаловаться#18

A

Alex in pro.kafka
руками почистили, брокер задетектил что файлов нету, залил с ближайшей реплики

извиняюсь но это похоже на попытку выстрелить себе в ногу
источник
11:14пожаловаться#19

ПГ

Павел Гордеев... in pro.kafka
Kirill T
Павел, а как вы чистите руками? Иногда сталкиваюсь с проблемой экстренного освобождения места.
Заходишь в папку /data и далее достаточно понятно, куда идти
Выбираю файлы,  которым допустим день и удаляю
источник
11:15пожаловаться#20