AM
Да, вопрос как пропустить такое сообщение.
Size: a a a
2020 October 01
OG
А вдруг там важное?
VB
Oleg Gavrilov
А вдруг там важное?
Ну это зависит от постановки задачи, и от данных))
VB
Alexey Melchakov
Да, вопрос как пропустить такое сообщение.
В начале стрима бранч, с byteserde, в фильтрах проверять успешность десериализации в авро, если не успех пускать в ветку сломанных сообщений. Такое не пойдет?
OG
Просто если так евенты дропать по любому поводу, может вообще не принимать их?)
OG
У них форматов много
OG
А так звучит полезно
AM
Oleg Gavrilov
Просто если так евенты дропать по любому поводу, может вообще не принимать их?)
Это другой вопрос. Терять или нет это бизнес логика. Как технически их пропускать
AM
В начале стрима бранч, с byteserde, в фильтрах проверять успешность десериализации в авро, если не успех пускать в ветку сломанных сообщений. Такое не пойдет?
Да это один из вариантов
SP
странно, это выглядит как бага. по идее, такое должно в ProductionExceptionHander падать, если нет так - то это бага, IMO
SP
В начале стрима бранч, с byteserde, в фильтрах проверять успешность десериализации в авро, если не успех пускать в ветку сломанных сообщений. Такое не пойдет?
выглядит как костыль, с сообщениями что угодно может случиться по дороге, проверять во всех точках ?
AM
ProductionExceptionHander - попробую еще покопать, может конфигурацию Producer надо по-другому задавать. Либо и правда может дефект
VB
Sergey Pichkurov
выглядит как костыль, с сообщениями что угодно может случиться по дороге, проверять во всех точках ?
Ну дорога принадлежит самому приложению. Оно ответственено за валидный код) ну то есть тестирование или откат при установке.
Ну и да, это все костыль.
Ну и да, это все костыль.
AM
Видел где то ответ на SO от Matthias J. Sax что кафка тримы при обработке не должны бросать исключения в методах by design. Это уже учли. Но вот кейс с сериализацией во внутренний стейтстор пока без ответа. Единственный путь пока остается это исследовать ProductionExceptionHandle logandcontionue, но еще бы хотелось понимать к каким это может последствиям приветси
SB
Alexey Melchakov
да, причина ошибки ясна. конкретно это попытка сеарелизовать BigDecimal co scale=0 в авро тип, который требует scale=2.
Понятно, что это нужно чинить и ловить на тестах.
Но вопрос в том, как защитить себя от такой ошибки на проде, при которой из-за одного битого сообщения возможна ситуация, когда приложение полностью блокируется и нет возмжности продолжить его работу из-за того что оно не может пропустить такое сообщение.
Понятно, что это нужно чинить и ловить на тестах.
Но вопрос в том, как защитить себя от такой ошибки на проде, при которой из-за одного битого сообщения возможна ситуация, когда приложение полностью блокируется и нет возмжности продолжить его работу из-за того что оно не может пропустить такое сообщение.
А что мешает взять cli и руками передвинуть офсет?
AM
Спасибо!
SP
Ну дорога принадлежит самому приложению. Оно ответственено за валидный код) ну то есть тестирование или откат при установке.
Ну и да, это все костыль.
Ну и да, это все костыль.
не совсем так, приложению принадлежат колеса, который катяться по дороге. а дорога - это сами стримы, кафка то бишь.