Тема сбора|каких|зачем логов это не иссекаемый источник для статей и докладов. Всегда можно из хорошего доклада вырвать и унести себе понравившийся костылик.
Немного потока сознания:
Я вот исходя из доклада задумался над ускорением bulk процессора elasticsearch.
Обновляться до 7.3 желания я не испытал, по нескольким причинам:
- субъективно, чем мажорнее версия, тем больше elastic жрет ресурсов, а profit не ощутим -верните мне мой 5.3
- мы собираем elastic в кластер с помощью
https://github.com/vvanholl/elasticsearch-consul-discovery и автор поддержку 7+ судя по пул реквестам притащить не торопится
- плагин для консула не умеет в ipv6 only сети, мы научили его, но автор морозится
https://github.com/vvanholl/elasticsearch-consul-discovery/pull/15/files Прийдется тащить это в своей ветке
Остается хачить код bulk процессора как написано в статье...
Мы сейчас решаем проблему «неудачной записи» с помощью ретраев на самописном клиенте отправки логов, поэтому у нас ощутимо не болит
http://bit.ly/35grewa
