VG
Сделал воршопчик по spring boot and ccloud https://youtu.be/E0ORr1nA6qA
Size: a a a
2020 October 27
VD
Так а почему бы в канал не запостить
ER
Добрый день . Мы используем https://docs.confluent.io/current/clients/confluent-kafka-python/# библиотеку . Может быть я просто заблуждаюсь и делаю что то не правильно. Но хотелось бы вычитывать сообщения из топика по его уникальному ID. Сейчас в топике сообщений не много , поэтому просто каждый раз читаю с начала и до конца , встречая нужный ID запускаю логику. Но когда кол-во сообщений увеличится , это может стать проблемой . Такого метода я не нашел , куда смотреть ?
НИ
Кажется, что kafka не для этого.
AR
Evgeny Rachlenko
Добрый день . Мы используем https://docs.confluent.io/current/clients/confluent-kafka-python/# библиотеку . Может быть я просто заблуждаюсь и делаю что то не правильно. Но хотелось бы вычитывать сообщения из топика по его уникальному ID. Сейчас в топике сообщений не много , поэтому просто каждый раз читаю с начала и до конца , встречая нужный ID запускаю логику. Но когда кол-во сообщений увеличится , это может стать проблемой . Такого метода я не нашел , куда смотреть ?
KSQL ?
GK
KSQL решит проблему, но если сценарий читать по ID, то либо данные в подходящее KV-хранилище перекладывать, либо Kafka вообще не использовать.
D
кто нибудь работал с divolte ?
ситуация такая при перезагрузке kafka, divolte перестает видеть ее и висит в цикле с сообщением
ситуация такая при перезагрузке kafka, divolte перестает видеть ее и висит в цикле с сообщением
WARN [NetworkClient]: [Producer clientId=divolte.collector] Connection to node 0 could not be established. Broker may not be available.
внутри кубера\докера?
ER
KSQL решит проблему, но если сценарий читать по ID, то либо данные в подходящее KV-хранилище перекладывать, либо Kafka вообще не использовать.
да KSQL решение это то что нужно , вопрос можно ли читать ID не внося новую сущность обращаясь к данным так же как это делает ksql
ER
Кажется, что kafka не для этого.
да похоже я излишне мудрю..
D
да кубер, helm чарт с реджестри для кафки
или я погорячился с перетаскиванием кафки в кубер ?
или я погорячился с перетаскиванием кафки в кубер ?
да хз
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
p
да хз
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
да, я так и понял по логике, осталось дело за малым умеет ли приложение это делать :)
VG
Evgeny Rachlenko
Добрый день . Мы используем https://docs.confluent.io/current/clients/confluent-kafka-python/# библиотеку . Может быть я просто заблуждаюсь и делаю что то не правильно. Но хотелось бы вычитывать сообщения из топика по его уникальному ID. Сейчас в топике сообщений не много , поэтому просто каждый раз читаю с начала и до конца , встречая нужный ID запускаю логику. Но когда кол-во сообщений увеличится , это может стать проблемой . Такого метода я не нашел , куда смотреть ?
Нужно иметь систему которая делает materialized views. Что-то типа https://youtu.be/s0rJxy_kVEE или https://docs.ksqldb.io/en/latest/concepts/materialized-views/
VG
Evgeny Rachlenko
@gamussa Спасибо огромное Вик. Я посмотрел ваш пример на Java. Если я правильно все понял . Возможно обратиться к топику и вытащить из него по ID сообщение. Поддерживает ли эту функциональность python библиотека. Если да , то не подскажите мне пожалуйста какая ?
Faust это имплементация Kafka streams на питоне. Tables поддерживаются https://faust.readthedocs.io/en/latest/userguide/tables.html
2020 October 29
p
да хз
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
Смотря для каких целей. У меня кафка и в кубере и на отдельным виртуалках живет.
а по поводу "теряет кафку". скорее всего твоё приложение забирает внутренний IP кафки по ДНС и фиксирует у себя в контексте. Соотв, когда ты ребутаешь под с кафкой, у нее меняется внутренний IP, а приложение бьется по старому
Решение - обновлять в приложении IP адрес по ДНС или ходить строго по ДНС
Проблема все-таки не в этом я зафиксировал у кафки clusterIP при перезагрузке кафки всегда сохраняется один и тот же ip. И все равно делаем перезагрузку клиент теряет ее и больше не шлет данных