IR
ну и сама ES/EDA это крайне свежая архитектура которую из моего опыта все готовят по своему
Size: a a a
2020 August 25
KZ
ну и сама ES/EDA это крайне свежая архитектура которую из моего опыта все готовят по своему
Спасибо) Тогда двигаться как обычно, путем проб и ошибок)
IR
ну вот выше скинули книгу, мб почитать
IR
Всем привет. Есть ли у кого годная литература на тему организация Event Sourcing на Kafka? Интересует конкретные примеры: в каком стиле лучше называть топики, где размещать их, чтобы в дальнейшем не возникало путаницы среди сотни топиков и микросервисов. И в общем, как Kafka ложится с CQRS? Читал вот эту статью https://www.confluent.io/blog/event-sourcing-cqrs-stream-processing-apache-kafka-whats-connection/ но я так понял, что в качестве command query, там предлагают использовать Kafka streams, а в качестве read queries можно использовать какую-либо БД. Если что-то не так написал, то прошу поправить меня, потому что тема Event sourcing для меня нова и хотелось бы понять в каком направлении лучше двигаться с учетом использование Кафки
я бы посоветовал не стартовать прям сразу с CQRS + ES, а сделать классический RPC + transactional outbox паттерн для откидывания эвентов, а дальше уже смотреть
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
KZ
я бы посоветовал не стартовать прям сразу с CQRS + ES, а сделать классический RPC + transactional outbox паттерн для откидывания эвентов, а дальше уже смотреть
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
Спасибо за наводку!
В
Evgeny Rachlenko
а как лучше быть , если GDPR могут попросить убрать данные с кафки за два дня , а retention period скажем 4 дня . Есть элегантный/ стандартный способ , как стереть данные по времени ?
Вообще, с GDPR проще, там время на реакцию ограничено месяцем (с оговоркой, что это должно быть without undue delay), так что 4 дня ретеншна туда вполне укладываются, а задержка объясняется техническими ограничениями системы.
A
А что на счёт https://nats.io/about/ 🤔
NATS и Kafka некорректно сравнивать, он ближе к NSQ
NATS Streaming и Kafka - да
NATS Streaming и Kafka - да
GM
Да давайте сразу https://redis.io/topics/streams-intro
И
Добрый вечер, нужно обеспечить exactly once для перекладывания данных из Kafka в Hive (формально просто в файлик в HDFS). Какие best practice будут для хранения офсетов? (транзакционную БД сбоку не предлагать). писать на каждую строчку колонку с oфсетом? в имени файла писать первый и последний офсет? redis сбоку (тоже не хочется)? работаю из Java окружения
GM
используете?
Боже упаси, нет
2020 August 26
C
Но вообще хочется что то вот такое
}{очется что то вот такое на Go?
AS
я бы посоветовал не стартовать прям сразу с CQRS + ES, а сделать классический RPC + transactional outbox паттерн для откидывания эвентов, а дальше уже смотреть
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
ну и если хотите кафку делать как single source of truth то сразу впиливайте трейсинг и schema registry, иначе жизнь в ад в какой-то момент может превратиться
и сразу думайте как делать саги(но это и без кафки надо думать как делать), с помощью оркестрации или хореографии
А чем мотивирована эта рекомендация?
IR
А чем мотивирована эта рекомендация?
для команд(запросов) http или кафка это просто транспорт, и если использовать кафку как транспорт то нужно понимать какой профит (именно) для команд мы получаем изобретая велосипед, в то время как RPC на http готовить умеют все
мы например профита от команд на кафке почти не получили, потому что все равно чаще всего репроцессинг команд невозможен(так как команды привязаны ко времени)
да и по эвентам всегда можно понять что происходило, и анализировать команды почти не приходится(например чтобы разобрать какой-нибудь инцидент)
мы например профита от команд на кафке почти не получили, потому что все равно чаще всего репроцессинг команд невозможен(так как команды привязаны ко времени)
да и по эвентам всегда можно понять что происходило, и анализировать команды почти не приходится(например чтобы разобрать какой-нибудь инцидент)
IR
