такие вещи как вот это https://github.com/openresty/lua-nginx-module#header_filter_by_lua очень удобны

Не всегда. Вариантов, при котором апи возвращает 500, оооочень много.(при внештатной ситуации)
Лучше перебздеть и воткнуть хелсчек с запросом подов по лейблу, например. Тем более, с haproxy грех так не сделать)

обычно виновник смерти apiserver это все таки etcd

Хз, пилил умные редиректы на lua + redis. Очень удобно)

Согласен. Но ключевое тут - обычно...

Но kubectl на других серверах работает, разве это не значит что ip на месте

Когда узнал, что nginx при tcp чеке вырубает сервер из апстрима на время указанное в конфиге, а потом тупо, без всяких проверок,  возвращает в балансировку через тоже время, мне стало грустно

время указанное в конфиге это fail_timeout?

stream module?

Случайно не с воркер ноды? Она случайно не выпала из кластера?

Уху
max_fails и fail_timeout

Да, стандартный upstream модуль

+

над свой дистриб куба

с блекджеком и энвоем

и консул сбоку

а сверху амбассадор

и назвать его GOV EDITION

ну так все правильно

max_fails=number
sets the number of unsuccessful attempts to communicate with the server that should happen in the duration set by the fail_timeout parameter to consider the server unavailable for a duration also set by the fail_timeout parameter. By default, the number of unsuccessful attempts is set to 1. The zero value disables the accounting of attempts. Here, an unsuccessful attempt is an error or timeout while establishing a connection with the server.
fail_timeout=time
sets
the time during which the specified number of unsuccessful attempts to communicate with the server should happen to consider the server unavailable;
and the period of time the server will be considered unavailable.
By default, the parameter is set to 10 seconds.



то есть если у тебя на протяжении fail_timeout max_fails происходит то бекенд выкидывается из апстрима на этот же fail_timeout