N
А жмутся 20мб до скольки ?
Size: a a a
2020 March 02
N
Это уже не файлы, а месаджи
N
6 секунд на считывание или запись ?
2020 March 03
A
Часто всплывает вопрос о отсылке файлов через кафку. Почитал чат и понял что это зло. Вопрос сильно ли это нагружает брокер? Есть не критичный к скорости топик с файлами. Можно переделать на reference store, но для этого надо обосновать что другие топики страдают (если это так).
Если у вас кафка с такой нагрузкой справляется и проблем нет, то почему сразу зло? 🤔
A
Если у вас отдельная кафка для отправки файлов и по скорости все вас устраивает, то серьезных проблем не должно быть
Большие файлы всегда можно дробить на чанки, если с ними есть проблемы
@sibiryakov так тоже делает, кажется
Большие файлы всегда можно дробить на чанки, если с ними есть проблемы
@sibiryakov так тоже делает, кажется
Y
Я согласен что отдельное хранилище лучше. Но решение на Кафке уже в продакшене. Плюс файлы там специфические, обычно меньше 1 Мб но редко бывают и 20 Мб. И нужны только чтобы обработать и в бд положить.
Но вы можете сжимать перед отправкой, как пример.
Но знайте, сообщения в Кафке хранятся не в сжатом виде (поправьте если не прав).
Но знайте, сообщения в Кафке хранятся не в сжатом виде (поправьте если не прав).
Y
Если у вас отдельная кафка для отправки файлов и по скорости все вас устраивает, то серьезных проблем не должно быть
Большие файлы всегда можно дробить на чанки, если с ними есть проблемы
@sibiryakov так тоже делает, кажется
Большие файлы всегда можно дробить на чанки, если с ними есть проблемы
@sibiryakov так тоже делает, кажется
Есть либа у LinkedIn для резки мессаджей
И
Yuriy
Но вы можете сжимать перед отправкой, как пример.
Но знайте, сообщения в Кафке хранятся не в сжатом виде (поправьте если не прав).
Но знайте, сообщения в Кафке хранятся не в сжатом виде (поправьте если не прав).
Хранятся так как прислал продьюсер