Там только впихнули бету кубелета от 20ки а так остальное все работает - но понятно что api другой уже

Можете раскрыть мысль? Имеешь ввиду дописывать что то в трфик и уже в зависимости от этого балансировать?

Нет, смотри в сторону ISTIO Envoj + Jenkins X с нормальным деплоем микросервисов

Я не хочу плодить новые сущности, пока не убежусь что нет простого решения

простого и элегантного нет

Это правильно. Тогда разбиратся в AeroCD как вариант

С hproxy никто не жил? Он тоже не умеет так?

Парни, есть кто юзает EKS 1.18?

да

после апгрейда начали поды в terminating виснуть

[root@ip-172-31-36-148 /]# docker ps | grep f946e3113934
f946e3113934        nginx                                                                   "/docker-entrypoint.…"   58 minutes ago      Up 58 minutes                           k8s_nginx_cl-sync-prod-7c7dbb8fb-9r8vs_cl-sync-prod_90674e6a-57b0-496f-9c50-f06f39be14b2_0
[root@ip-172-31-36-148 /]# docker exec -it f946e3113934 /bin/sh
OCI runtime exec failed: exec failed: cannot exec a container that has stopped: unknown
[root@ip-172-31-36-148 /]# docker stop  f946e3113934
f946e3113934
[root@ip-172-31-36-148 /]# docker kill  f946e3113934
f946e3113934
[root@ip-172-31-36-148 /]# docker ps | grep f946e3113934
f946e3113934        nginx                                                                   "/docker-entrypoint.…"   59 minutes ago      Up 59 minutes                           k8s_nginx_cl-sync-prod-7c7dbb8fb-9r8vs_cl-sync-prod_90674e6a-57b0-496f-9c50-f06f39be14b2_0

я с нуля накатывал, ничего такого нет

причём мне наверное на завод пора

я конечно поды грохнул принудительно, но на нодах так и висят в docker ps ненужные контейнеры

а че дескрайб показывает на висящем поде?

Events:
 Type     Reason             Age                    From                                                 Message
 ----     ------             ----                   ----                                                 -------
 Warning  FailedScheduling   30m (x2 over 30m)      default-scheduler                                    0/23 nodes are available: 23 Insufficient cpu.
 Normal   TriggeredScaleUp   29m                    cluster-autoscaler                                   pod triggered scale-up: [{eks-xflow-ir-prod-on-demand-worker20200709204815559800000012 4->12 (max: 20)}]
 Warning  FailedScheduling   29m (x3 over 29m)      default-scheduler                                    0/24 nodes are available: 1 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate, 23 Insufficient cpu.
 Warning  FailedScheduling   29m (x2 over 29m)      default-scheduler                                    0/27 nodes are available: 23 Insufficient cpu, 4 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.
 Warning  FailedScheduling   28m (x3 over 29m)      default-scheduler                                    0/30 nodes are available: 23 Insufficient cpu, 7 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.
 Warning  FailedScheduling   28m (x2 over 28m)      default-scheduler                                    0/31 nodes are available: 24 Insufficient cpu, 7 node(s) had taint {node.kubernetes.io/not-ready: }, that the pod didn't tolerate.
 Normal   Scheduled          28m                    default-scheduler                                    Successfully assigned cl-sync-prod/cl-sync-prod-7c7dbb8fb-dd26h to ip-172-31-2-206.eu-west-1.compute.internal
 Normal   Pulling            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Pulling image "182360997168.dkr.ecr.eu-west-1.amazonaws.com/cl-sync:php-prod-6"
 Normal   Pulled             28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Successfully pulled image "182360997168.dkr.ecr.eu-west-1.amazonaws.com/cl-sync:php-prod-6"
 Normal   Created            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Created container share-code
 Normal   Started            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Started container share-code
 Normal   Pulled             28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Container image "182360997168.dkr.ecr.eu-west-1.amazonaws.com/cl-sync:php-prod-6" already present on machine
 Normal   Pulling            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Pulling image "nginx"
 Normal   Started            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Started container php-fpm
 Normal   Created            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Created container php-fpm
 Normal   Pulled             28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Successfully pulled image "nginx"
 Normal   Created            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Created container nginx
 Normal   Started            28m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Started container nginx
 Normal   Killing            20m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Stopping container php-fpm
 Warning  FailedPreStopHook  19m                    kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Exec lifecycle hook ([sh -c sleep 30]) for Container "php-fpm" in Pod "cl-sync-prod-7c7dbb8fb-dd26h_cl-sync-prod(928e6450-36ef-47a8-a221-835f0d7ba6cb)" failed - error: command 'sh -c sleep 30' exited with 137: , message: ""
 Normal   Killing            18m (x4 over 20m)      kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Stopping container nginx

Warning  FailedPreStopHook  18m (x3 over 19m)      kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Exec lifecycle hook ([sh -c sleep 30]) for Container "nginx" in Pod "cl-sync-prod-7c7dbb8fb-dd26h_cl-sync-prod(928e6450-36ef-47a8-a221-835f0d7ba6cb)" failed - error: command 'sh -c sleep 30' exited with 126: , message: "OCI runtime exec failed: exec failed: cannot exec a container that has stopped: unknown\r\n"
 Warning  Unhealthy          18m (x3 over 18m)      kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Liveness probe failed: OCI runtime exec failed: exec failed: cannot exec a container that has stopped: unknown
 Warning  Unhealthy          3m31s (x178 over 18m)  kubelet, ip-172-31-2-206.eu-west-1.compute.internal  Readiness probe failed: OCI runtime exec failed: exec failed: cannot exec a container that has stopped: unknown

не из-за preStop хука же

и висят себе в Terminating

сейчас хуки исправим, мало ли