В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

pro.kafka

1591 membersпожаловаться на группу
2020 January 16

НИ

Николай Ижиков in pro.kafka
насколько я понял Рому, он просто хочет записать данны сначала в кафку или локальный файлик, а потом уже дать клиенту отмашку, что данные сохранены.

Если данные из локального файлика не быстро доедут до обработчика(через кафку) его не пугает
источник
19:56пожаловаться#1

AK

Alexander Kovalev in pro.kafka
Roman Sharkov
нет, не cache, а reliable buffer. Cache это про ускорение чтение, а здесь речь про надёжную запись и асинхронную запись в stream.
кеш уже лет десять как про буферизацию записи тоже
источник
19:56пожаловаться#2

AK

Alexander Kovalev in pro.kafka
см любой нормальный инмемори датагрид - хейзел, инфиниспан, игнайт, etc
источник
19:57пожаловаться#3

AK

Alexander Kovalev in pro.kafka
не нравится бд, попробуйте логстеш
источник
19:57пожаловаться#4

AK

Alexander Kovalev in pro.kafka
он умеет в буфер
источник
19:57пожаловаться#5

AK

Alexander Kovalev in pro.kafka
хоть и будет это хуже)
источник
19:58пожаловаться#6

RS

Roman Sharkov in pro.kafka
Николай Ижиков
насколько я понял Рому, он просто хочет записать данны сначала в кафку или локальный файлик, а потом уже дать клиенту отмашку, что данные сохранены.

Если данные из локального файлика не быстро доедут до обработчика(через кафку) его не пугает
сначала в локальный файлик, потом уже в кафку асинхронно ибо не так важно когда события получать остальные сервисы в экосистеме, важно то что событие надёжно записано внутри сервиса, он не должен зависить от внешних систем и в любом случае должен продолжать работать
источник
19:58пожаловаться#7

НИ

Николай Ижиков in pro.kafka
Alexander Kovalev
см любой нормальный инмемори датагрид - хейзел, инфиниспан, игнайт, etc
in memory грид, внезапно, тоже может упасть.
Да и зачем плодить сущности сверх меры?
источник
19:58пожаловаться#8

НИ

Николай Ижиков in pro.kafka
Roman Sharkov
сначала в локальный файлик, потом уже в кафку асинхронно ибо не так важно когда события получать остальные сервисы в экосистеме, важно то что событие надёжно записано внутри сервиса, он не должен зависить от внешних систем и в любом случае должен продолжать работать
А если второй раз из файлика доставишь в кафку это не страшно?
источник
19:58пожаловаться#9

AK

Alexander Kovalev in pro.kafka
Николай Ижиков
in memory грид, внезапно, тоже может упасть.
Да и зачем плодить сущности сверх меры?
плодить сущности - топикстартер
инмемори кеш можно хоть embedded запускать, упадет только с сервисом
источник
19:59пожаловаться#10

RS

Roman Sharkov in pro.kafka
Alexander Kovalev
вы хотите писать кеш перед кафкой по сути
я предлагаю быть практиком и взять техническое решение, которое может быть этим кешом
можно хоть с кажым сервисом монгу сайдкаром поднимать, будет лучше, чем самописное решение
mongodb будет менее практичным решением, ведь в таком случае за реализацию event log’а теперь отвечает сам сервис и это очевидно нехорошо
источник
19:59пожаловаться#11

НИ

Николай Ижиков in pro.kafka
Alexander Kovalev
плодить сущности - топикстартер
инмемори кеш можно хоть embedded запускать, упадет только с сервисом
Если упадет сервис - сохраненные в локальный буфер данные терять не хочется.
источник
19:59пожаловаться#12

AD

Alex Dev in pro.kafka
для логов есть seq
источник
19:59пожаловаться#13

RS

Roman Sharkov in pro.kafka
Alexander Kovalev
кеш уже лет десять как про буферизацию записи тоже
buffer != cache // true
источник
19:59пожаловаться#14

AK

Alexander Kovalev in pro.kafka
Николай Ижиков
Если упадет сервис - сохраненные в локальный буфер данные терять не хочется.
выбирайте любой из доступных режимов работы кешей, за 10 лет их придумали дохрена)
источник
20:00пожаловаться#15

AK

Alexander Kovalev in pro.kafka
хоть с синком на диск, хоть с синком с диска, любой
источник
20:00пожаловаться#16

RS

Roman Sharkov in pro.kafka
Alexander Kovalev
не нравится бд, попробуйте логстеш
не выйдет, API специфичная 😐
источник
20:00пожаловаться#17

AK

Alexander Kovalev in pro.kafka
Roman Sharkov
buffer != cache // true
я практик, но хорошо
берите любой ин мемори сторадж со стримингом и персистентным бэкендом
источник
20:01пожаловаться#18

RS

Roman Sharkov in pro.kafka
Николай Ижиков
А если второй раз из файлика доставишь в кафку это не страшно?
страшно, грубое нарушение согласованности.
источник
20:01пожаловаться#19

НИ

Николай Ижиков in pro.kafka
Roman Sharkov
страшно, грубое нарушение согласованности.
Тогда тебе надо четко знать, что удалось записать в кафку а что не удалось.

Но это все равно от всех случаев, скорее всего, не спасет и контроль double delivery придется делать на стороне приемника
источник
20:01пожаловаться#20