Size: a a a

2021 January 09

VG

Vik Gamov in pro.kafka
Phil Delgyado
О, ответил быстрее, чем я спросил. Ага, просто сахар )
Не просто сахар
источник

VG

Vik Gamov in pro.kafka
Можно например сделать из приложения materialized view из фильтрованных данных
источник

PD

Phil Delgyado in pro.kafka
Ну, благодаря транзакциям и так можно было. Это же новый топик создается?
источник

PD

Phil Delgyado in pro.kafka
И нужно помещаться в общий лимит по партициям? Или нет?
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Ну, благодаря транзакциям и так можно было. Это же новый топик создается?
Ещё раз - топик можно и не создать. В коде у товарища нет метода to() который запишет все в новый топик
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
И нужно помещаться в общий лимит по партициям? Или нет?
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
И нужно помещаться в общий лимит по партициям? Или нет?
Нипонил
источник

PD

Phil Delgyado in pro.kafka
Если делать matview (т.е. с незавимым хранением), то это уже не просто consumer group поверх топика, а новый топик?
источник

PD

Phil Delgyado in pro.kafka
И у этого топика есть свои партиции и нужно влезть в 200k партиций?
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Если делать matview (т.е. с незавимым хранением), то это уже не просто consumer group поверх топика, а новый топик?
Не обязательно. Можно хранить в rocksdb
источник

PD

Phil Delgyado in pro.kafka
Кстати, а на число consumer group есть ограничение? Их модет быть 10mln на один топик с 1000 партиций?
источник

VG

Vik Gamov in pro.kafka
Что ты пытаешься сделать?
источник

PD

Phil Delgyado in pro.kafka
Vik Gamov
Не обязательно. Можно хранить в rocksdb
Ну, я вот хочу без rocksdb обойтись. мне не хочется еще одну сущность поддерживать.
источник

VG

Vik Gamov in pro.kafka
Я оч плохо соображаю когда спрашивают теоретические вопросы о теоретических лимитах
источник

PD

Phil Delgyado in pro.kafka
Я пытаюсь решить задачу с кучей небольших дешёвых очередей. Типа 10mln, но почти без событий.
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Ну, я вот хочу без rocksdb обойтись. мне не хочется еще одну сущность поддерживать.
Тебе не надо rocksdb поддерживать - это embedded база, часть Java приложения Kafka Streams. Только offheap
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Я пытаюсь решить задачу с кучей небольших дешёвых очередей. Типа 10mln, но почти без событий.
А зачем?
источник

PD

Phil Delgyado in pro.kafka
Акторы, workflow и т.п
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Я пытаюсь решить задачу с кучей небольших дешёвых очередей. Типа 10mln, но почти без событий.
источник

VG

Vik Gamov in pro.kafka
Phil Delgyado
Акторы, workflow и т.п
Да, но зачем?
источник