А где это?

Семён семеныч

Ну и ладно 🙂

Спасибо!

Там все с докерами и компоузами

Интересная переадресация

Я задолбался писать этот угл длинный

Понимаю

Коллеги, не встречались ли с такой ошибкой в kafka streams? @gamussa

Exception in thread "stream-thread-dataset-5633-81" org.apache.kafka.streams.errors.StreamsException: task [0_2] Abort sending since an error caught with a previous record (key [{}}: 30940 ms has passed since last append
You can increase producer parameter `retries` and `retry.backoff.ms` to avoid this error.
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.recordSendError(RecordCollectorImpl.java:125)
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.access$500(RecordCollectorImpl.java:48)
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl$1.onCompletion(RecordCollectorImpl.java:180)
  at org.apache.kafka.clients.producer.KafkaProducer$InterceptorCallback.onCompletion(KafkaProducer.java:1199)
  at org.apache.kafka.clients.producer.internals.ProducerBatch.completeFutureAndFireCallbacks(ProducerBatch.java:204)
  at org.apache.kafka.clients.producer.internals.ProducerBatch.done(ProducerBatch.java:187)
  at org.apache.kafka.clients.producer.internals.Sender.failBatch(Sender.java:627)
  at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:287)
  at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:238)
  at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:163)
  at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.common.errors.TimeoutException: Expiring 12 record(s) for dataset-5633-1: 30940 ms has passed since last append
Exception in thread "stream-thread-dataset-6865-103" org.apache.kafka.streams.errors.StreamsException: Exception caught in process. taskId=0_4, processor=KSTREAM-SOURCE-0000000000, topic=dataset, partition=4, offset=107713301
  at org.apache.kafka.streams.processor.internals.StreamTask.process(StreamTask.java:240)
  at org.apache.kafka.streams.processor.internals.AssignedStreamsTasks.process(AssignedStreamsTasks.java:94)
  at org.apache.kafka.streams.processor.internals.TaskManager.process(TaskManager.java:411)
  at org.apache.kafka.streams.processor.internals.StreamThread.processAndMaybeCommit(StreamThread.java:918)
  at org.apache.kafka.streams.processor.internals.StreamThread.runOnce(StreamThread.java:798)
  at org.apache.kafka.streams.processor.internals.StreamThread.runLoop(StreamThread.java:750)
  at org.apache.kafka.streams.processor.internals.StreamThread.run(StreamThread.java:720)
Caused by: org.apache.kafka.streams.errors.StreamsException: task [0_4] Abort sending since an error caught with a previous record (key [{}}: 33016 ms has passed since last append
You can increase producer parameter `retries` and `retry.backoff.ms` to avoid this error.
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.recordSendError(RecordCollectorImpl.java:125)
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl.access$500(RecordCollectorImpl.java:48)
  at org.apache.kafka.streams.processor.internals.RecordCollectorImpl$1.onCompletion(RecordCollectorImpl.java:180)
  at org.apache.kafka.clients.producer.KafkaProducer$InterceptorCallback.onCompletion(KafkaProducer.java:1199)
  at org.apache.kafka.clients.producer.internals.ProducerBatch.completeFutureAndFireCallbacks(ProducerBatch.java:204)
  at org.apache.kafka.clients.producer.internals.ProducerBatch.done(ProducerBatch.java:187)
  at org.apache.kafka.clients.producer.internals.Sender.failBatch(Sender.java:627)
  at org.apache.kafka.clients.producer.internals.Sender.sendProducerData(Sender.java:287)
  at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:238)
  at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:163)
  at java.lang.Thread.run(Thread.java:748)
Caused by: org.apache.kafka.common.errors.TimeoutException: Expiring 13 record(s) for dataset-6865-3: 33016 ms has passed since last append

Привет, насколько плоха идея кидать через кафку данные размером 50-100мб? Есть официальные статьи, ссылки которые можно дать как пруфы?

Плохая.

Где-то раз в две недели в нашем чате возникает вопрос "а как бы нам файло через кафку пересылать и чтобы там такого оттьюнить, чтобы работало хорошо?"

Короткий ответ - лучше не надо. Но если все таки очень хочется, то читаем дальше.

Для начала, самое более простое решение которое приходит в голову - это класть файлы в распределенное файловое хранилище (S3, NFS и прочее). этот поход зовётся claim-check pattern. Azure Event Hub - это сильно урезанная Кафка и "подтьюнить" там мало чего у вас получится.

Затем  смотрим слайды Becket Qin из Линкеина
Он разбирает практически все возможные ситуации передачи файлов через Кафку. В самом начале он говорит почемуClaim-Check (он это называет reference-based messaging)для них не заработал и как они использовали chunking and reassembling. Для этого они даже пропатчили стандартную клиентскую библиотеку.

А как вы решаете подобную задачу?
Приходите и расскажите у нас в чате

Благодарю 👍🏻

Коллеги, какие бест праксис для проброски трейсов (вроде OpenTracing) через сообщения кафки?

Ну как вариант еще - слайсить сообщения, у Linkedin есть библа для слайсинга, но мессаджи по 100 метров гонять, такое себе
Лучше метаданные, а хранить в s3 и т.д

C S3 есть одна проблемка - она неконсистентна. Как только вы в реалтайме начнёте писать файлы, уведомлять о них через топик и тут же их читать у вас всё рухнет в проде. Поэтому проблема реально имеет место быть и не имеет адекватного решения, насколько я знаю.