Телеграмм чат группы proKafka страница 1499

Вечер добрый! Помогите разобраться: Spring cloud stream приложение, конвеер реализован через Function<>. Используется кастомный десериализатор, который должен использовать потребитель и указан в конфиге. При запуске вижу, что мой десериализатор инициализируется, но для байндинга my-stream-function-in-0 используется io.confluent.kafka.streams.serdes.avro.SpecificAvroSerde. Из-за этого возникают ошибки десериализации. Как переопределить десериализатор?

источник

20:31пожаловаться #5

λ

λλ in pro.kafka

Vektor AB

Вечер добрый! Помогите разобраться: Spring cloud stream приложение, конвеер реализован через Function<>. Используется кастомный десериализатор, который должен использовать потребитель и указан в конфиге. При запуске вижу, что мой десериализатор инициализируется, но для байндинга my-stream-function-in-0 используется io.confluent.kafka.streams.serdes.avro.SpecificAvroSerde. Из-за этого возникают ошибки десериализации. Как переопределить десериализатор?

https://spring.io/blog/2019/12/04/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-3-data-deserialization-and-serialization

spring.io

Stream Processing with Spring Cloud Stream and Apache Kafka Streams. Part 3 - Data deserialization and serialization

Part 1 - <a href="https://spring.io/blog/2019/12/02/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-1-programming-model">Programming Model</a>
Part 2 - <a href="https://spring.io/blog/2019/12/03/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-2-programming-model-continued">Programming Model Continued</a>
Continuing on the previous two blog posts, in this series on writing stream processing applications with Spring Cloud Stream and Kafka Streams, now we will look at the details of how these applications handle deserialization on the inbound and serialization on the outbound. 
All three major higher-level types in Kafka Streams - <code>KStream<K,V></code>, <code>KTable<K,V></code> and <code>GlobalKTable<K,V></code> - work with a key and a value. 
With Spring Cloud Stream Kafka Streams support, keys are always deserialized and serialized by using the native <code>Serde</code> mechanism. A <code>Serde</code> is a container object where it provides…

источник

20:47пожаловаться #6

VA

Vektor AB in pro.kafka

λλ

https://spring.io/blog/2019/12/04/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-3-data-deserialization-and-serialization

spring.io

Stream Processing with Spring Cloud Stream and Apache Kafka Streams. Part 3 - Data deserialization and serialization

Part 1 - <a href="https://spring.io/blog/2019/12/02/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-1-programming-model">Programming Model</a>
Part 2 - <a href="https://spring.io/blog/2019/12/03/stream-processing-with-spring-cloud-stream-and-apache-kafka-streams-part-2-programming-model-continued">Programming Model Continued</a>
Continuing on the previous two blog posts, in this series on writing stream processing applications with Spring Cloud Stream and Kafka Streams, now we will look at the details of how these applications handle deserialization on the inbound and serialization on the outbound. 
All three major higher-level types in Kafka Streams - <code>KStream<K,V></code>, <code>KTable<K,V></code> and <code>GlobalKTable<K,V></code> - work with a key and a value. 
With Spring Cloud Stream Kafka Streams support, keys are always deserialized and serialized by using the native <code>Serde</code> mechanism. A <code>Serde</code> is a container object where it provides…

Спасибо, попробую

источник

20:52пожаловаться #7

IS

Ivan Shirokov in pro.kafka

λλ

Сингл продюсер паттерн вродь должно быть не? Или это на уровне лидера рулица?

Что вы имеете ввиду, может я что-то не знаю просто

источник

23:59пожаловаться #8

2020 September 18

VG

Vik Gamov in pro.kafka

https://medium.com/@oleksandra_a/apache-kafka-and-zio-af418b4c54f0 для скалистов подвезли статью

Medium

Apache Kafka and ZIO

This article will explain why you want to use Apache Kafka in your project, Core Concepts about Kafka, and how you can use it with the ZIO…

источник

00:54пожаловаться #9

λ

λλ in pro.kafka

Ivan Shirokov

Что вы имеете ввиду, может я что-то не знаю просто

KafkaProducer<K,V> A Kafka client that publishes records to the Kafka cluster.
The producer is thread safe and sharing a single producer instance across threads will generally be faster than having multiple instances.

Here is a simple example of using the producer to send records with strings containing sequential numbers as the key/value pairs.
https://kafka.apache.org/10/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html

источник

01:00пожаловаться #10

S

Slava in pro.kafka

Vik Gamov

https://medium.com/@oleksandra_a/apache-kafka-and-zio-af418b4c54f0 для скалистов подвезли статью

Medium

Apache Kafka and ZIO

This article will explain why you want to use Apache Kafka in your project, Core Concepts about Kafka, and how you can use it with the ZIO…

Ох, нехристи. Сначала понапишут монад, а потом флатмапятся друг с другом.

источник

08:42пожаловаться #11

IF

Ivan Fedorov in pro.kafka

Всем привет.
Судя по документации работы debezium с Postgresql, он оборачивает значение полей JSON/JSONB в строку.
Есть ли способы как-то это обойти на уровне коннектора или KSQLDB?

источник

08:57пожаловаться #12

V

Vadim in pro.kafka

а LAG отрицательный как может быть?)

источник

09:01пожаловаться #13

Y

Yuriy in pro.kafka

такого быть не может, чисто логически)

источник

09:02пожаловаться #14

V

Vadim in pro.kafka

смотрю сейчас н такое, у нескольких топиков лаг отризательный показывает

источник

09:04пожаловаться #15

Y

Yuriy in pro.kafka

хотя я может и ошибаюсь
вывод сможешь скинуть?

источник

09:04пожаловаться #16

V

Vadim in pro.kafka

не дает скинуть фотку, какие-то ограничения чата

источник

09:05пожаловаться #17

Y

Yuriy in pro.kafka

можешь в личку

источник

09:34пожаловаться #18

IS

Ivan Shirokov in pro.kafka

λλ

KafkaProducer<K,V> A Kafka client that publishes records to the Kafka cluster.
The producer is thread safe and sharing a single producer instance across threads will generally be faster than having multiple instances.

Here is a simple example of using the producer to send records with strings containing sequential numbers as the key/value pairs.
https://kafka.apache.org/10/javadoc/org/apache/kafka/clients/producer/KafkaProducer.html

Да тут как раз написано. Can be only one open transaction per producer. Видимо надо пул создавать какой-то на старте

источник

10:03пожаловаться #19

V

Vadim in pro.kafka

а добавить кол-во партиций к существующему топику можно?

источник

11:49пожаловаться #20