Size: a a a

2020 November 12

VG

Vik Gamov in pro.kafka
VladMl
стор внутри инстанса. Теоретически можно получить к нему доступ через Interactive Query но по моему это не правильно. Стримы параллелялят партишенами и соответственно разными инстансами
Почему не правильно?
источник

VG

Vik Gamov in pro.kafka
Alexandr Korotkov
Супер. А как поток с кафки делить на части и эти части отдельно в асинхронном режиме превращать в xml имеется опыт? Есть необходимость именно делить на чанки поток. Что то наподобие как Camel concurentProducer-ов делает
Сначала выгружаешь в кафку с помощью connect, потом процессинг делаешь на стримах (ибо Java, и там все хорошо с XML). Либо свой конвертер который может в XML (из коробки json и avro только, есть ещё protobuf)
источник

AK

Alexandr Korotkov in pro.kafka
Vik Gamov
Сначала выгружаешь в кафку с помощью connect, потом процессинг делаешь на стримах (ибо Java, и там все хорошо с XML). Либо свой конвертер который может в XML (из коробки json и avro только, есть ещё protobuf)
спс, Java StreamApi имеешь ввиду, или KafkaStreams ?
источник

VG

Vik Gamov in pro.kafka
Alexandr Korotkov
спс, Java StreamApi имеешь ввиду, или KafkaStreams ?
Kafka Streams, если тебе надо трансформацию делать и писать обратно. вкафку
источник

VG

Vik Gamov in pro.kafka
Alexandr Korotkov
@gamussa смотрел твои видосы, супер. Очень доходчиво
источник

AK

Alexandr Korotkov in pro.kafka
Vik Gamov
Kafka Streams, если тебе надо трансформацию делать и писать обратно. вкафку
спс
источник

AL

Aleksei Lebedev in pro.kafka
Vik Gamov
Можно отдавать windowedKeystore . А вообще какая задача концептуально?
UI нотификации через вебсокеты. Есть несколько инстансов аппа, которые держут коннекшны от вебсокетов, и есть топик, в который летят нотификаций. Хочется иметь возможность отправить нотификации, которые пришли, пока соединение с вебсокетом было разорвано (упал коннекшн и переконнектился через небольшое время). Иметь несколько партишнов не получится, потому что мы не знаем на каком именно инстансе аппа получатель нотификации, а значит должны слать на все.

выглядит вообще как довольно стандартная задача, если без окна, а вот с ним чё-то не могу понять как лучше.
источник

AL

Aleksei Lebedev in pro.kafka
есть мысли про кастомный стор на хазлкасте, например, но сомневаюсь по поводу производительности и не потеряется ли что-нибудь
источник

V

VladMl in pro.kafka
Vik Gamov
Можно отдавать windowedKeystore . А вообще какая задача концептуально?
Можно и отдавать, если он не большой. Только вот состояние стора меняется по мере прихода мессаджей и как это трекать из другого инстанса. Вообще нужно конечно знать задачу
источник

NK

ID:0 in pro.kafka
​​Yo, чат! Приходите на митап «Apache Kafka в вопросах и ответах»

Что будем обсуждать:
– 🌳 Что такое Kafka и чем она не является?
– 🤷‍♂️ Где ее применение обосновано, а где нет?
– 🔥 Kafka VS RabbitMQ
– 👀 Как правильно эксплуатировать Kafka? Как мониторить?
– Есть ли какие-то особенности разработки приложения, которое будет работать с Kafka?

Можно подать заявку в качестве слушателя или зарегистрироваться как эксперт с успешным опытом Apache Kafka в проде.

В метапе будут принимать участие ведущие эксперты канала https://t.me/proKafka
Дата проведения: 17 ноября в 19:00 мск

Регистрация на сайте.
источник

NK

ID:0 in pro.kafka
источник

NK

ID:0 in pro.kafka
источник

DP

Denis Pavlyuchenko in pro.kafka
во, наконец-то мы узнаем, как делать очереди поверх Kafka. @gamussa спасибо!
источник

VG

Vik Gamov in pro.kafka
Denis Pavlyuchenko
во, наконец-то мы узнаем, как делать очереди поверх Kafka. @gamussa спасибо!
Niet 😉
источник

A

Artjom Kalita in pro.kafka
И узнаем как правильно через  кафку файлы перекидывать
источник

A

Artjom Kalita in pro.kafka
источник

DP

Denis Pavlyuchenko in pro.kafka
Artjom Kalita
И узнаем как правильно через  кафку файлы перекидывать
большие файлы же? 😁
источник

A

Artjom Kalita in pro.kafka
Ага, кому нужны маленькие файлы то , только видео файлы в 4к, только хардкор
источник

VG

Vik Gamov in pro.kafka
Artjom Kalita
Ага, кому нужны маленькие файлы то , только видео файлы в 4к, только хардкор
Мы не можем иначе!
источник

VG

Vik Gamov in pro.kafka
ID:0
​​Yo, чат! Приходите на митап «Apache Kafka в вопросах и ответах»

Что будем обсуждать:
– 🌳 Что такое Kafka и чем она не является?
– 🤷‍♂️ Где ее применение обосновано, а где нет?
– 🔥 Kafka VS RabbitMQ
– 👀 Как правильно эксплуатировать Kafka? Как мониторить?
– Есть ли какие-то особенности разработки приложения, которое будет работать с Kafka?

Можно подать заявку в качестве слушателя или зарегистрироваться как эксперт с успешным опытом Apache Kafka в проде.

В метапе будут принимать участие ведущие эксперты канала https://t.me/proKafka
Дата проведения: 17 ноября в 19:00 мск

Регистрация на сайте.
Кто уже дизлайкнуть успел??
источник