В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1942 membersпожаловаться на группу
2020 October 05

SП

SvPupok Пупок in pro.kafka
Daniyar Kaliyev
Всем привет, задача реплицировать все топики с одной кафки в другую, что лучше mirrormaker или mirus? помнится какой-то косяк был в mirrormaker
в mirrormaker2 топики реплицировались с изменением имени, к имени топика добавлялось имя кластера кафки
источник
10:28пожаловаться#1

SП

SvPupok Пупок in pro.kafka
в mirrormaker 1 нельзя добавлять в список реплицируемых топиков новые на "горячую", без перезагрузки сервиса
источник
10:28пожаловаться#2

VB

Vladimir Bukhtoyarov in pro.kafka
Юрий Бадальянц
всем привет. А есть ли какая-то разница в работе методов джавового консьюмера commitSync и commitAsync кроме собственно разной работы с блокировкой потоков?
фундаментально нет. Я заметил мелочи при закрытии: например callback в asyncCommit не сработает если вызван close, в общем случае асинхронный коммит может вообще не быть посланным на сервер при закрытии, поэтому прежде чем закрыь консумер лучше всё закомитить синхронным комитом
источник
11:12пожаловаться#3

DK

Daniyar Kaliyev in pro.kafka
наткнулся на  
connect-mirror-maker.sh
как понял он реплицирует все из точки А в точку Б и обратно, кто-нибудь пробовал?
источник
11:24пожаловаться#4

ЮБ

Юрий Бадальянц... in pro.kafka
Vladimir Bukhtoyarov
фундаментально нет. Я заметил мелочи при закрытии: например callback в asyncCommit не сработает если вызван close, в общем случае асинхронный коммит может вообще не быть посланным на сервер при закрытии, поэтому прежде чем закрыь консумер лучше всё закомитить синхронным комитом
Вообще, я ожидал, что по семантике работы они будут абсолютно одинаковыми. Но сейчас тестирую и вижу, что у них есть отличия.
источник
11:51пожаловаться#5

I

Igor in pro.kafka
VladMl
Может кто-то из пересоздает если стоит autocreate
Как я понял, в процессе удаления он и пересоздается. С включенным autocreate топик создается и при запросе метаданных, что видимо делает при удалении команда.
источник
12:37пожаловаться#6

V

VladMl in pro.kafka
Igor
Как я понял, в процессе удаления он и пересоздается. С включенным autocreate топик создается и при запросе метаданных, что видимо делает при удалении команда.
если через kafka-topics.sh --delete то топик не пересоздается. А вот если есть продюсер или консюмер то пересоздастся
источник
13:36пожаловаться#7

I

Igor in pro.kafka
Не. Я создал топик с новым именем, которое нигде не используется. Удалил и пологам через пару микросекунд он создался
источник
13:55пожаловаться#8

V

VladMl in pro.kafka
можно проверить на чистом образе confluent если удалить топик он сам не создается
источник
13:57пожаловаться#9

x

x in pro.kafka
Юрий Бадальянц
Вообще, я ожидал, что по семантике работы они будут абсолютно одинаковыми. Но сейчас тестирую и вижу, что у них есть отличия.
Ну как минимум если не смогло закоммититься - то sync() бросит эксепшен
источник
14:04пожаловаться#10

ЮБ

Юрий Бадальянц... in pro.kafka
x
Ну как минимум если не смогло закоммититься - то sync() бросит эксепшен
Асинк этот же эксепшен в колбэк пробросит
источник
14:06пожаловаться#11

x

x in pro.kafka
Ну там есть перегрузка без колбека)
источник
14:07пожаловаться#12

x

x in pro.kafka
Я вот сейчас смотрю - оно всё void. А мне что-то помнится, что async футуру возвращало. Мы её не ждали и пропускали ошибки при коммите.
Но может путаю с чем-нибудь
источник
14:08пожаловаться#13

x

x in pro.kafka
Наверное путаю, даже в 0.10 на колбеке
источник
14:09пожаловаться#14

x

x in pro.kafka
А какие отличия Вы замечаете?
источник
14:10пожаловаться#15

ЮБ

Юрий Бадальянц... in pro.kafka
x
Ну там есть перегрузка без колбека)
Ну это вообще можно игнорировать , я про нормальный вариант метода
источник
14:10пожаловаться#16

ЮБ

Юрий Бадальянц... in pro.kafka
x
А какие отличия Вы замечаете?
Асинхронный вариант по ходу всегда ждёт следующего выхова poll
источник
14:12пожаловаться#17

ЮБ

Юрий Бадальянц... in pro.kafka
А синхронный нет
источник
14:12пожаловаться#18

VG

Vik Gamov in pro.kafka
Daniyar Kaliyev
Всем привет, задача реплицировать все топики с одной кафки в другую, что лучше mirrormaker или mirus? помнится какой-то косяк был в mirrormaker
Что за mirus?
источник
14:47пожаловаться#19

GM

Gleb Mekhrenin in pro.kafka
Vik Gamov
Что за mirus?
https://github.com/salesforce/mirus внезапно еще одна тулза
GitHub
salesforce/mirus
Mirus is a cross data-center data replication tool for Apache Kafka - salesforce/mirus
источник
14:50пожаловаться#20