PD
Flink все-таки не про "распределенные транзакции", насколько я вижу.
И сложные сценарии на нем не сделать - а мне интересны бизнес-сценарии, по сути.
И сложные сценарии на нем не сделать - а мне интересны бизнес-сценарии, по сути.
Size: a a a
2020 February 06
DT
Например?
PD
Ну, например, сквозной платеж )
PD
Или какой-нибудь хитрый онбординг.
DT
А можно поконкретнее?:)
PD
Т.е. каждый сценарий - это сложная стейт-машинка (ну или актор) с гарантиями на сообщения другим акторам и гарантиями сохранения состояния.
DT
Ах, ну да. У Флинка нет обратной связи по сообщениям. Нет гарантии получения. Написал в очередь — и всё. Кто-нибудь прочитает. А может и не прочитает
PD
А можно поконкретнее?:)
Процесс сквозного платежа - это где-то 10-15 шагов (иногда больше) - с циклами, условиями и т.п. При этом при любом падении чего угодно нужно оставаться в консистентном состоянии.
PD
Ах, ну да. У Флинка нет обратной связи по сообщениям. Нет гарантии получения. Написал в очередь — и всё. Кто-нибудь прочитает. А может и не прочитает
Ну, тогда придется делать очередь между флинком и всеми получателями, а это может быть долго (и точно дорого).
PD
Ну и там вроде-бы inmemory state, т.е. если сам сценарий "получил сообщение, отправил в три разных точки" умрет вместе с сервисом - то может быть неконсистентность.
PD
Но зато расчет на миллионы событий в секунду.
А мне хватит и 10000, но с максимальными гарантиями
А мне хватит и 10000, но с максимальными гарантиями
DT
Ну и там вроде-бы inmemory state, т.е. если сам сценарий "получил сообщение, отправил в три разных точки" умрет вместе с сервисом - то может быть неконсистентность.
Ну да. Распределённого стейта нет. Но джоб умеет падать с сохранением стейта, и связывать транзакции с сохранением стейта.
PD
А где он этот стейт хранит?
PD
С какой гарантией,
DT
То есть, если транзакция применилась, то и стейт сохранился
DT
А где он этот стейт хранит?
Сначала в памяти, потом на диске
PD
Ну, интересно гарантировать, что транзакция таки применилась. Этого там нет, как я понимаю. Если упал сервер - то опаньки.
DT
Почему нет? Стейт сохраняется на диск только если транзакция применилась
DT
Можно реализовать такое поведение
DT
Ну, и офсеты Кафки можно хранить как в Кафке, так и во флинке для большей гарантии.