АБ
Звучит как интересный кейс чтоб написать велосипед свой
Берём luajit ffi + librdkafka
Size: a a a
2019 December 20
АБ
И получаем много звёзд
АБ
Потому что альтернатив нет
AZ
У меня искренний вопрос: неужели так трудно держать какой-то промежуточный логстэш или коннект, что хочется затащить Кафка клиента прямо на веб-сервер? Я уж не говорю про все удобства которые даёт промежуточный гейтвей
VS
nginx -> access.log -> logstash -> kafkanginx syslog output -> fluent bit -> kafkaGG
nginx syslog output -> fluent bit -> kafkaNginx -> rsyslog -> kafka
GG
И флюент не нужен 😂 welcome в @ru_logs
AZ
людям же надо напрямую обязательно, по пока неясным причинам
AZ
Nginx -> rsyslog -> kafka
а как кстати omkafka, без проблем работает? там в ранних версиях были косяки (я правда не помню это был он или librdkafka)
N
а как кстати omkafka, без проблем работает? там в ранних версиях были косяки (я правда не помню это был он или librdkafka)
От версии к версии, но я бы не рекомендовал его юзать
AZ
М ы к примеру определили что в 8.22 rsyslog терял примерно 50% данных и при этом модуль статистики молчал.
вот я такие war stories слышал о нем тож, и народ пишет обычно в коннект или логстеш
GG
М ы к примеру определили что в 8.22 rsyslog терял примерно 50% данных и при этом модуль статистики молчал.
Это, конечно, попадос. А разобрались в чем проблема? Мож буфер какой переполнялся или Аски неверные ?
N
Это, конечно, попадос. А разобрались в чем проблема? Мож буфер какой переполнялся или Аски неверные ?
Мы как раз переходили на наше решение и вот когда начали наливать трафик, поняли что идёт что-то не так, либо мы в своём решении дубли пишем, либо омкафка теряет. Обновили модуль omkafka и по кол-ву мессаджей сравнялись с нашем решением. Причём модуль статистики и логи просто молчали и делали вид, что все хорошо.
MT
людям же надо напрямую обязательно, по пока неясным причинам
Просто если есть хороший модуль для Nginx, то зачем вставлять костыли?
AD
если вынапрямую из nginx пишите в кафку, то какая политика у вас по сохранности данных при проблемах доступа к кафке( по разным причинам) ? теряете логи? или останавливаете работу nginx ?
GG
если вынапрямую из nginx пишите в кафку, то какая политика у вас по сохранности данных при проблемах доступа к кафке( по разным причинам) ? теряете логи? или останавливаете работу nginx ?
отличный вопрос!
MT
если вынапрямую из nginx пишите в кафку, то какая политика у вас по сохранности данных при проблемах доступа к кафке( по разным причинам) ? теряете логи? или останавливаете работу nginx ?
Вопрос хороший... теряем данные. Надежда на то, что кластер никогда не упадет целиком
Вообще куда бы мы не писали с nginx'a, кроме как на диск, отказ промежуточного звена приведет к потере сообщений
Вообще куда бы мы не писали с nginx'a, кроме как на диск, отказ промежуточного звена приведет к потере сообщений
MT
Вопрос к вероятности возникновения проблемы