GM
вообще связи не вижу, вопрос сугубо к твоему коду, либе для работы с кафкой это в принципе по боку должно быть, хоть бд разверни рядом с сервисом
Size: a a a
2020 January 16
GM
но если у тебя в дц сеть все время разваливается то это как бы по-другому надо решать
RS
вообще связи не вижу, вопрос сугубо к твоему коду, либе для работы с кафкой это в принципе по боку должно быть, хоть бд разверни рядом с сервисом
я именно про это и задавал вопрос, нужно ли мне данную логику аккумулирования событий на локалке писать самому или могу взять уже что-то готовое
походу придётся самому написать
походу придётся самому написать
RS
но если у тебя в дц сеть все время разваливается то это как бы по-другому надо решать
всё время или раз в год - неважно, net-split или отказ Kafka’и - неважно. Ещё раз - важно чтоб сервис не переставал работать из-за внешних факторов
GM
это не имеет никакого отношения к кафке
RS
это не имеет никакого отношения к кафке
имеет. Ведь чисто гипотетически могут существовать клиенты для кафки, которые это делают сами, но видимо такого нет
GM
имеет. Ведь чисто гипотетически могут существовать клиенты для кафки, которые это делают сами, но видимо такого нет
могут существовать, очевидно что искать надо на гитхабе
RS
могут существовать, очевидно что искать надо на гитхабе
а можно параллельно к поиску на гитхабе и в чате спросить, может кто-то сталкивался с подобной задачей и мне не придётся копашиться в репозиториях)
VG
т.е. всё-таки самому посредника придётся реализовывать? В экосистеме Кафки ничего подобного нет?
ну коннектор напиши
VG
kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
--new-producer < my_file.txt
или так
AK
а можно параллельно к поиску на гитхабе и в чате спросить, может кто-то сталкивался с подобной задачей и мне не придётся копашиться в репозиториях)
ты вроде писал о strong consistency
так вот, "делать на локалке" и "strong consistency" совместимы друг с другом при одном условии - весь остальной мир (все сервисы, кафки, базы данных) потушился
так вот, "делать на локалке" и "strong consistency" совместимы друг с другом при одном условии - весь остальной мир (все сервисы, кафки, базы данных) потушился
AK
если, конечно, не весь мир у нас в локалке)
RS
ты вроде писал о strong consistency
так вот, "делать на локалке" и "strong consistency" совместимы друг с другом при одном условии - весь остальной мир (все сервисы, кафки, базы данных) потушился
так вот, "делать на локалке" и "strong consistency" совместимы друг с другом при одном условии - весь остальной мир (все сервисы, кафки, базы данных) потушился
сервис является источником событий, consistency осуществляется засчёт проверки версии event log’а при append’е, если версии не совпадают - локальная бд синхронизируется с логом
таким образом сохраняется согласованность между логом и локальной бд
а когда там эти события дойдут до других сервисов - не важно, желательно как можно скорее, разумеется
таким образом сохраняется согласованность между логом и локальной бд
а когда там эти события дойдут до других сервисов - не важно, желательно как можно скорее, разумеется
RS
если, конечно, не весь мир у нас в локалке)
по сути тот мир за который отвечает сервис
AK
сервис является источником событий, consistency осуществляется засчёт проверки версии event log’а при append’е, если версии не совпадают - локальная бд синхронизируется с логом
таким образом сохраняется согласованность между логом и локальной бд
а когда там эти события дойдут до других сервисов - не важно, желательно как можно скорее, разумеется
таким образом сохраняется согласованность между логом и локальной бд
а когда там эти события дойдут до других сервисов - не важно, желательно как можно скорее, разумеется
звучик как будто реплика wal базы в кафку
и это действительно сто раз решенная задача, включая ожидание кафки
и это действительно сто раз решенная задача, включая ожидание кафки
RS
звучик как будто реплика wal базы в кафку
и это действительно сто раз решенная задача, включая ожидание кафки
и это действительно сто раз решенная задача, включая ожидание кафки
нет, WAL это WAL, а тут речь о событиях (event sourcing)
AK
нет, WAL это WAL, а тут речь о событиях (event sourcing)
что мешает в базу писать события? юзать как event store?
RS
что мешает в базу писать события? юзать как event store?
то что мы привязываем базу к event log’у и это очень нехорошо. У нас могут быть разные базы в разных сервисах, все будут хранить log по своему и реализовывать могут неправильно. Есть side-car у каждого сервиса для логов и он везде один
AK
то что мы привязываем базу к event log’у и это очень нехорошо. У нас могут быть разные базы в разных сервисах, все будут хранить log по своему и реализовывать могут неправильно. Есть side-car у каждого сервиса для логов и он везде один
вы хотите писать кеш перед кафкой по сути
я предлагаю быть практиком и взять техническое решение, которое может быть этим кешом
можно хоть с кажым сервисом монгу сайдкаром поднимать, будет лучше, чем самописное решение
я предлагаю быть практиком и взять техническое решение, которое может быть этим кешом
можно хоть с кажым сервисом монгу сайдкаром поднимать, будет лучше, чем самописное решение
RS
вы хотите писать кеш перед кафкой по сути
я предлагаю быть практиком и взять техническое решение, которое может быть этим кешом
можно хоть с кажым сервисом монгу сайдкаром поднимать, будет лучше, чем самописное решение
я предлагаю быть практиком и взять техническое решение, которое может быть этим кешом
можно хоть с кажым сервисом монгу сайдкаром поднимать, будет лучше, чем самописное решение
нет, не cache, а reliable buffer. Cache это про ускорение чтение, а здесь речь про надёжную запись и асинхронную запись в stream.