SB
типа producer -> Kafka -> consumer
Size: a a a
2020 February 25
R
а, что, просто отправить в топик Кафки и оттуда вычитать на другом конце уже нельзя?
видимо, консумер это как раз бд
AH
а, что, просто отправить в топик Кафки и оттуда вычитать на другом конце уже нельзя?
можно
SB
забавно, что подобную архитектуру приходится ПРЕЗЕНТОВАТЬ
R
Спрашиваю, а напрямую нельзя? Говорят, Propulsion напрямую пока что не может, БЛИЖЕ К ОСЕНИ научится
кстати, если предложить сделать без Propulsion, камнями закидают?
SB
а что там презентовать? "привет, ребята, мы берем json, кладем в Кафку и оттуда читаем. пока, ребята".
SB
видимо, консумер это как раз бд
SB
на такой случай уже предусмотрена хипстерская технология
SB
я даже процитирую:
SB
Data Centric Pipeline – use meaningful data abstractions to pull or push data to Kafka.
Flexibility and Scalability – run with streaming and batch-oriented systems on a single node or scaled to an organization-wide service.
Reusability and Extensibility – leverage existing connectors or extend them to tailor to your needs and lower time to production.
SN
кстати, если предложить сделать без Propulsion, камнями закидают?
типа того. propulsion вообще-то потребовался, чтобы взять состояние (начальный жсон), представить его в виде потока событий (Event Sourcing), чтобы потом снова собрать состояние (конечный жсон)
SN
я спрашиваю, а зачем вам события? мне говорят, А ВДРУГ ЧТО-ТО ПОЙДЕТ НЕ ТАК, мы сможем прогнать события еще раз и восстановить правильное состояние.
SN
сижу вот думаю, сказать им про наш retention period в кафке и космосе, или пусть так живут?
SB
я спрашиваю, а зачем вам события? мне говорят, А ВДРУГ ЧТО-ТО ПОЙДЕТ НЕ ТАК, мы сможем прогнать события еще раз и восстановить правильное состояние.
ну это аргумент нелохой на самом деле.
SN
ну это аргумент нелохой на самом деле.
ок, я тебе расскажу про ретеншн - он всего 5 дней
SN
к тому моменту, как ты выкатишь фикс в прод, тебе рестримить будет нечего
A
так а как, всё умирает навсегда? или прихранивается последняя версия джейсона а ивенты умирают?
SN
ну кафка не может хранить стримы вечно, не так ли?
SN
у нас раньше было 2 недели, это были дикие напряги с точки зрения инфраструктуры
SB
у нас раньше было 2 недели, это были дикие напряги с точки зрения инфраструктуры
Какие именно?