Телеграмм чат группы proKafka страница 4

Size: a a a

pro.kafka

1531 membersпожаловаться на группу

2017 December 25

Vik Gamov in pro.kafka

Кафке (брокеру) пофиг на ваш payload. Она хранит байты.

источник

23:56пожаловаться #1

Vik Gamov in pro.kafka

Разруливать надо на стороне Producer / Consumer

источник

23:57пожаловаться #2

Vik Gamov in pro.kafka

Евгений

ребят, есть вопрос по кафке. у меня есть пара методов (лисенеров), которые принимают наследников класса BaseRequest. все это дело должно сериализоваться/десериализоваться в json. проблема в том, что на клиенте кафка не может сконвертить json из родительского класса в дочерний. может кто нить знает, как это правильно настроить?

Звучит как проблема вашего Json фреймворка

источник

23:57пожаловаться #3

2017 December 26

_ in pro.kafka

Обычно просто класс как в поле json запихивают и при парсинге на него смотрят

источник

00:09пожаловаться #4

_ in pro.kafka

Жесткая схема не всегда возможна

Звучит как проблема вашего Json фреймворка

пожалуй, так и есть

источник

00:26пожаловаться #6

C O in pro.kafka

для Jackson например делай так https://github.com/FasterXML/jackson-docs/wiki/JacksonPolymorphicDeserialization

GitHub

JacksonPolymorphicDeserialization

Documentation for the Jackson JSON processor. Contribute to FasterXML/jackson-docs development by creating an account on GitHub.

источник

01:22пожаловаться #7

def pl = 🦉 in pro.kafka

для Jackson например делай так https://github.com/FasterXML/jackson-docs/wiki/JacksonPolymorphicDeserialization

GitHub

JacksonPolymorphicDeserialization

Documentation for the Jackson JSON processor. Contribute to FasterXML/jackson-docs development by creating an account on GitHub.

спасибо, заработало.

источник

17:28пожаловаться #9

_ in pro.kafka

Коллеги, как решаете проблему с дедубликацией? Пробовали ли транзакционные очереди уже?

источник

23:11пожаловаться #10

Roman Grebennikov in pro.kafka

У нас данные из кафки вливаются в clickhouse для аналитики, а там дедупликация через ReplacingMergeTree. На стыке кафки и внешнего мира, как ни крути, боль, страдания и дубликаты.

источник

23:23пожаловаться #11

_ in pro.kafka

replacing merge tree просто как своя структура данных?

источник

23:24пожаловаться #12

_ in pro.kafka

Аа, кликхаусная штука

источник

23:25пожаловаться #13

_ in pro.kafka

На стыке внешнего мира и кафки - да, а из топика в топик транзакции должны помочь