В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1975 membersпожаловаться на группу
2020 November 03

СГ

Сергей Голод... in pro.kafka
Alex Konstantinov
Да, я тут соврал, там только через логическую репликацию, не сразу понял, что речь идёт и listen/notify.
логическая репликация есть и через create subscription. Там можно на стороне СУБД ограничить репликацию только определенными таблицами чтобы не гнать на коннектор терабайты изменений. Буду ещё изучать...
источник
10:32пожаловаться#1

СГ

Сергей Голод... in pro.kafka
Alexander Iskuskov
Насколько знаю, там только логическое декодирование. Напишите, если найдёте другие варианты
вроде вот это поможет. Протестирую и дам обратную связь)
https://debezium.io/documentation/reference/connectors/postgresql.html#postgresql-property-publication-name
источник
10:50пожаловаться#2

СГ

Сергей Голод... in pro.kafka
т.е. создаём публикацию на PG и прописываем в параметрах коннектора
источник
10:50пожаловаться#3

СГ

Сергей Голод... in pro.kafka
Если это сработает, то у меня вместо 30Тб/мес wal-ов в коннектор будет прилетать не более 0.1% от этого объёма.
источник
10:51пожаловаться#4

АВ

Алексей Васин... in pro.kafka
всем привет) никто случайно не знает сколько раз будет происходить вычитывание сообщения из топика, при использовании @KafkaListener, с дефолтными настройками, в случае возникновения эксепшена в методе, где вычитывается сообщение?
источник
11:38пожаловаться#5

H

Hjortron in pro.kafka
Привет, подскажите пожалуйста по дебезиуму.
Создаю коннектор для схемы, но в списке топиков не все таблицы. Что я делаю не так?
источник
13:26пожаловаться#6

СГ

Сергей Голод... in pro.kafka
Alexander Iskuskov
Насколько знаю, там только логическое декодирование. Напишите, если найдёте другие варианты
- нужно использовать тип плагина pgoutput
- предварительно создать публикацию create publication dbz_publication for table your_single_table with (publish=....)
- после этого коннектор корректно слушает заданные типы событий только по данной таблице
- если стандартное имя публикации (dbz_publication) не подходит, то через переменную publication.name задать имя публикации, которая описана в СУБД (см. выше)
источник
13:51пожаловаться#7

IZ

Igor Zubchenok in pro.kafka
Как сделать так, чтобы сообщения из кафка топика для одного заказа не обрабатывались двумя консюмерами одновременно? HELP!
источник
15:28пожаловаться#8

IS

Ivan Shirokov in pro.kafka
Поместить их в одну консюмер группу
источник
15:28пожаловаться#9

IS

Ivan Shirokov in pro.kafka
Или там весь топик на один заказ?
источник
15:29пожаловаться#10

IZ

Igor Zubchenok in pro.kafka
Как сделать так, чтобы два разных сообщения (предназначенные для изменения статуса заказа по order id) из кафка топика не обрабатывались двумя консюмерами одновременно, а последовательно? HELP!
источник
15:33пожаловаться#11

N

Nick in pro.kafka
Igor Zubchenok
Как сделать так, чтобы два разных сообщения (предназначенные для изменения статуса заказа по order id) из кафка топика не обрабатывались двумя консюмерами одновременно, а последовательно? HELP!
указать orderId в качестве ключа при отправке в кафку
источник
15:34пожаловаться#12

В

Вячеслав in pro.kafka
Плюс использовать партицирование по ключу.
источник
15:45пожаловаться#13

IZ

Igor Zubchenok in pro.kafka
Круто! You made my day!!!!!!))))))))
источник
15:51пожаловаться#14

IZ

Igor Zubchenok in pro.kafka
Nick
указать orderId в качестве ключа при отправке в кафку
СПАСИБО!
источник
15:51пожаловаться#15

IZ

Igor Zubchenok in pro.kafka
Какие есть подводные камни? Это скейлится, если увеличивать кол-во партиций?
источник
15:52пожаловаться#16

N

Nick in pro.kafka
Igor Zubchenok
Какие есть подводные камни? Это скейлится, если увеличивать кол-во партиций?
по дефолту размазывает по хешу от ключа, а значит если неповезет, то могут быть перекосы по количеству в какойнить партиции.
При добавлении новых партиций старые сообщения не перераспределются и если события долго во времени живут и периодически перечитываются, то соответственно старые и новые будут в разных партициях и линейность исчезнет
источник
15:55пожаловаться#17

N

Nick in pro.kafka
поэтому лучше сразу заложить запас в количество партиций
источник
15:56пожаловаться#18

IZ

Igor Zubchenok in pro.kafka
Как сделать стриминг данных юзерам через кафку (каждому юзеру свой стрим, юзеров много, сотни тысяч)? На каждого по топику не создашь... HELP!
(или это неадекватный вопрос - дайте знать)
источник
17:01пожаловаться#19

РХ

Ринат Харисов... in pro.kafka
Igor Zubchenok
Как сделать стриминг данных юзерам через кафку (каждому юзеру свой стрим, юзеров много, сотни тысяч)? На каждого по топику не создашь... HELP!
(или это неадекватный вопрос - дайте знать)
а клиенты это что? как с ними работаете?
и нужно ли обеспечить получение клиентами данных если они в момент получения сообщения из кафки были не подключены?
источник
17:07пожаловаться#20