DP
»либо содержат описание структуры в начале сообщения
Звучит-то секси. Как светлое будущее. Ну или как тот самый сферический конь в вакууме -))
Звучит-то секси. Как светлое будущее. Ну или как тот самый сферический конь в вакууме -))
Size: a a a
2019 June 06
RI
Почитайте как устроены очереди сообщений в микросервисной модели
DP
Ок, спасибо
RI
RI
Пока источников мало и количество сообщений в секунду невелико - можно себе позволить роскошь баловаться с парсерами. Но с определённого момента нагрузка растёт экспоненциально и на парсинг уходит слишком много времени (одно время даже специальные аппаратные ускорители регулярных выражений делали, пока не поняли что это тупик)
RI
Titan IC их делает до сих пор для некоторых применений - http://titan-ic.com/technology
RI
Кстати, ещё и самими библиотеками регулярок не всё так однозначно - https://en.wikipedia.org/wiki/Comparison_of_regular_expression_engines
NA
Да, бинарный формат хорош по производительности, спору нет. Что делать когда нет сиема под рукой, чтобы почитать лог? Что делать, если я принес лог в ладошках с другой машины, а парсера нет.
NA
Для каждой задачи свое решение. Производительность - бин лог. Доступность и понтность инфы для человека или других неунифицированных систем - разброд и шатание.
RI
awk/sed
RI
NA
ага, еще less скажите
RI
Вы не поверите (с)
NA
да нет, поверю, если less в конвеере после декодера
RI
Очень часто обычные и незаслуженно забытые утилиты типа less, awk, sed, grep уделывают наколенные парсеры только в путь (и по производительности, и по количеству занимаемой памяти на единицу обрабатываемого события)
DP
Ruslan Ivanov
Очень часто обычные и незаслуженно забытые утилиты типа less, awk, sed, grep уделывают наколенные парсеры только в путь (и по производительности, и по количеству занимаемой памяти на единицу обрабатываемого события)
Именно
NA
Ruslan Ivanov
Очень часто обычные и незаслуженно забытые утилиты типа less, awk, sed, grep уделывают наколенные парсеры только в путь (и по производительности, и по количеству занимаемой памяти на единицу обрабатываемого события)
да, я видел бенчмарки grep и awk
RI
Уж во всяком случае, я ни разу не видел java-код, который бы смог уделать обычный diff
RI
ни по скорости, ни тем более по потребляемым ресурсам
NA
перепишите diff на java ))))