Хм ...

не хватало вот адреса инстансов в конфиг загонять

Ах, этот вариант

Неплохо бы, но у нас не такая классная архитектура

сервис-дискавери 101

а че ты просто не конфигуришь logstash из доступных данных о инфре? Ну типо нет машинок, нет их конфигах, появились машинки появились они в конфигах. Тут видимо проблема в пуш модели ansible и то что нет конвергенции

Такая схема приводит к постоянным релоадам логстеша, что тоже очень не полезно

Особенно если, скажем, считается, что если логстеш один раз поднялся, то он будет работать

почему к постоянным? У тебя там новые машинки кажую минуту появляются и исчезают?

у меня да

Ну, постоянным в течении некоторого окна, когда оно конфигурится

я с logstash проблему не понял. У меня там вообще нет никаких адресов в конфигах. Ну допустим так надо, но если у тебя новые машины каждую минуту, то конечно в конфиг их адреса добавлять не стоит, надо делать задачу как-то по другому. Но для начала нужно понять, зачем вообще там их адреса в конфигах

я все равно не понял проблему. Ну окей, предположем в 19:10 у тебя было в инфре 10 машин, в 19:15 сгенерился конфиг logstash с ними. Затем в 19:16 появилось еще +20 машин, в 19:20 сгенерился новый конфиг с 30 машинами. В 19:25 ничего не сгенерилось, так как все осталось по прежнему.
Я мб мыслю пулл моделью, так как у меня puppet. Но я правда не понимаю сути проблемы. Два релоада это прям плохо?
Более того, logstash рестартить по идее не надо, он же там умеет сам релодить конфигурацию свою когда файлик поменялся (`--config.reload.automatic`)

ну нджинкс плохо умеет

у меня там перед его релоадом делается nginx -t, чтобы увидеть ошибку. Но конечно надо понимать что для nginx под нагрузкой, reload далеко не бесплатная операция. Наверное есть смысл взять envoy если он покрывает нужды.

я как раз о случае когда конфиг чекается минуту, а после серии релоадов висит бездна старых процессов

мб логстеш так же

Конечно лучше не делать серию релоадов. Также может помочь worker_shutdown_timeout. Но с вебсокетами нюансы, приложение должно нормально делать реконнект - но тут подключается devops, идешь дружить с фронтендерами

лучше конечно не делать

но любая фича может быть использована в 1000 раз более нагруженно чем планировалось при разработке.