M
Будет трансляция
В двух словах @gamussa выше написал :)
В двух словах @gamussa выше написал :)
Понял, спасибо! :) буду ждать
Size: a a a
2020 January 15
N
В кафке ssl 1 way возможен или только 2 way?
λ
Кто-то сталкивался с проблемой транзакционного сохранения обьекта в дб и отправления его в кафку? То есть, если не прошло сохранение в дб, то и не должен отправиться месседж в кафку. И наоборот, соответственно
RI
Есть ряд сервисов-производителей, которые пишут в кафку и один сервис-потреьитель. Если сервис потребитель зафейлил сообщение от производителя, надо чтобы пооизводитель "откатил" транзакцию у себя. Может кто-то делал у себя такую штуку?.. По сути это что-то типа acid на микросервисах. Читал много букв в интернете про паттерны saga и арбитр-сервис, ноэто все теории. Нужна бы порция практики от бывалых. Тут беда в том что продьюсер не хранит состояние. Пришло на ум сделать топик куда консьюимер зашлет идентификатор и само зафейленное сообщение а продьюсер(один из) опознает его и разрулит откат. Но как-сложно получается
SB
@saabeilin если не секрет, по какому правилу шардировали по партициям в ES, юзали retention policy?
Ну, дефолтный партишнер, ключ - uuid агрегата, завёрнутый в Avro. Топики с событиями - "вечные", топики со снапшотами - агрессивно компактятся.
HK
понял, спасибо!
2020 January 16
ὦ
Запускаю из консоли
и получаю в лицо
Погуглил и не понял до конца что я же делаю не так
kafka-console-consumer.sh + --property value.deserializer=org.apache.kafka.common.serialization.JsonDeserializerи получаю в лицо
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.JsonDeserializerПогуглил и не понял до конца что я же делаю не так
ὦ
Логично - потому что его там и нет
λ
ὦan
Запускаю из консоли
и получаю в лицо
Погуглил и не понял до конца что я же делаю не так
kafka-console-consumer.sh + --property value.deserializer=org.apache.kafka.common.serialization.JsonDeserializerи получаю в лицо
Exception in thread "main" java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.JsonDeserializerПогуглил и не понял до конца что я же делаю не так
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic word-count-output --from-beginning --property print.key=true --property print.value=true --property key.deserializer=org.apache.kafka.common.serialization.StringDeserializer --property value.deserializer=org.apache.kafka.common.serialization.LongDeserializer
ὦ
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic word-count-output --from-beginning --property print.key=true --property print.value=true --property key.deserializer=org.apache.kafka.common.serialization.StringDeserializer --property value.deserializer=org.apache.kafka.common.serialization.LongDeserializer
Ну или стринг впихнуть тоже можно было
Но я просто опустил его и нормально стало
Но я просто опустил его и нормально стало
RS
Доброго времени суток
У меня такой вопрос: существует ли в экосистеме Kafka’и некий посредник, в который можно надёжно писать сообщения, которые асинхронно отсинхронизируются на глобальную систему распределения сообщений?
т.е. если вдруг, по какой-то причине либо упадёт Kafka либо произойдёт network split то микросервис не сможет осуществлять транзакции, поэтому ему нужен некий посредник между ним и Kafka’ой, который будет надёжно сохранять сообщения локально а потом уже синхронизировать их
У меня такой вопрос: существует ли в экосистеме Kafka’и некий посредник, в который можно надёжно писать сообщения, которые асинхронно отсинхронизируются на глобальную систему распределения сообщений?
т.е. если вдруг, по какой-то причине либо упадёт Kafka либо произойдёт network split то микросервис не сможет осуществлять транзакции, поэтому ему нужен некий посредник между ним и Kafka’ой, который будет надёжно сохранять сообщения локально а потом уже синхронизировать их
ὦ
Доброго времени суток
У меня такой вопрос: существует ли в экосистеме Kafka’и некий посредник, в который можно надёжно писать сообщения, которые асинхронно отсинхронизируются на глобальную систему распределения сообщений?
т.е. если вдруг, по какой-то причине либо упадёт Kafka либо произойдёт network split то микросервис не сможет осуществлять транзакции, поэтому ему нужен некий посредник между ним и Kafka’ой, который будет надёжно сохранять сообщения локально а потом уже синхронизировать их
У меня такой вопрос: существует ли в экосистеме Kafka’и некий посредник, в который можно надёжно писать сообщения, которые асинхронно отсинхронизируются на глобальную систему распределения сообщений?
т.е. если вдруг, по какой-то причине либо упадёт Kafka либо произойдёт network split то микросервис не сможет осуществлять транзакции, поэтому ему нужен некий посредник между ним и Kafka’ой, который будет надёжно сохранять сообщения локально а потом уже синхронизировать их
Вторую кафку поднять
Либо сделать так чтобы первая кафка не падала
Либо сделать так чтобы первая кафка не падала
RS
ὦan
Вторую кафку поднять
Либо сделать так чтобы первая кафка не падала
Либо сделать так чтобы первая кафка не падала
а в случае если она просто недоступна? network split?
суть в том, что этот микросервис должен быть на 100% уверен, что сообщение в конце концов дойдёт до остальных частей системы и не потеряется для того чтобы закомитить локальную транзакцию
и если Кафка по какой либо причине недоступна для этого микросервиса то он остановится и не сможет осуществлять транзакции
в идеале бы этот сервис писал в некого локального посредника, который бы надёжно сохранял сообщения и асинхронно синхронил их на кафку
суть в том, что этот микросервис должен быть на 100% уверен, что сообщение в конце концов дойдёт до остальных частей системы и не потеряется для того чтобы закомитить локальную транзакцию
и если Кафка по какой либо причине недоступна для этого микросервиса то он остановится и не сможет осуществлять транзакции
в идеале бы этот сервис писал в некого локального посредника, который бы надёжно сохранял сообщения и асинхронно синхронил их на кафку