Size: a a a

Kubernetes — русскоговорящее сообщество

2020 June 24

GG

George Gaál in Kubernetes — русскоговорящее сообщество
4c74356b41
а зачем она не внутри кластера сама с собой разговаривает?
++++
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
выглядит как костыльный костыль
источник

MO

Maxim Oryschuk in Kubernetes — русскоговорящее сообщество
это да и завтра будет исправлено (сервис только переезжает в кубер, есть что доделывать)
но больше интересно раскопать в чем может быть причина такого поведения.
источник
2020 June 25

LB

Let Eat Bee in Kubernetes — русскоговорящее сообщество
Maxim Oryschuk
всем привет!
может кто подскажет в какую сторону смотреть
есть AWS ELB который смотрит на istio-ingressgateway (LB сервис для истио работает в режиме externalTrafficPolicy: Local). за истио стоит аппка которая собственно и обрабатывает все запросы. в определенных случаях эта аппка выполняет запросы "к самой себе" через публичный DNS который направлен на тот же AWS ELB
в целом, сетап работает, 1.5К rps держит без проблем вот только запросы от внутреннего сервиса  "к самому себе" иногда выпадают в жуткий таймаут (10-30 сек) на этапе  tcp handshake что приводит к ХТТП ошибкам. судя по всему такое происходит только с запросами которые идут из внутренней сети кластера (тестировал из пода той же аппки) и проблема начинает воспроизводиться после некоторых значений rps (>10). что это может быть?
Точно TCP handshake , а не какой-нибудь ДНС?
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
Коллеги, дайте пожалуйста направление изысканий.

minikube, ubuntu на диске меньше 15% места, скаченый образы контейнеров тут же прибиваются

пытался это лечить так https://stackoverflow.com/questions/58348036/docker-images-disappearing-over-time/62099923#62099923
но кажется это не сильно помогает, не могу понять как сконфигурировать kubelet тк не нашел способа его сконфигурировать кроме как через minikube
источник

MO

Maxim Oryschuk in Kubernetes — русскоговорящее сообщество
Let Eat Bee
Точно TCP handshake , а не какой-нибудь ДНС?
c DNS все норм, ELB IP резолвится моментально и я вижу его в логе curl'a. все завмирает сразу после TCP_NODELAY set, а там, как я понимаю, фаза тсп хендшейка
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Andrey Tkachenko
Коллеги, дайте пожалуйста направление изысканий.

minikube, ubuntu на диске меньше 15% места, скаченый образы контейнеров тут же прибиваются

пытался это лечить так https://stackoverflow.com/questions/58348036/docker-images-disappearing-over-time/62099923#62099923
но кажется это не сильно помогает, не могу понять как сконфигурировать kubelet тк не нашел способа его сконфигурировать кроме как через minikube
увеличь место - это будет проще, а вообще ты прав - сборка образов регулируется параметрами kubelet
источник

4

4c74356b41 in Kubernetes — русскоговорящее сообщество
George Gaál
увеличь место - это будет проще, а вообще ты прав - сборка образов регулируется параметрами kubelet
Кубелет может?
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
4c74356b41
Кубелет может?
да блин
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
все мимо промазываю, спсибо
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
George Gaál
увеличь место - это будет проще, а вообще ты прав - сборка образов регулируется параметрами kubelet
как можно понять с какими настройками текущий кублет работает?
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
minikube - у тебя виртуалку поднимает, так ?
источник

AS

Alexander Sushko in Kubernetes — русскоговорящее сообщество
Andrey Tkachenko
Коллеги, дайте пожалуйста направление изысканий.

minikube, ubuntu на диске меньше 15% места, скаченый образы контейнеров тут же прибиваются

пытался это лечить так https://stackoverflow.com/questions/58348036/docker-images-disappearing-over-time/62099923#62099923
но кажется это не сильно помогает, не могу понять как сконфигурировать kubelet тк не нашел способа его сконфигурировать кроме как через minikube
в kubelet'овом config.yaml
evictionHard:
 imagefs.available: 15%
 nodefs.available: 10%
 nodefs.inodesFree: 5%

подставить значения по вкусу. Также для evictionSoft
Как в minikube это сделать, не скажу, но копать надо куда-то в эту сторону
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
George Gaál
minikube - у тебя виртуалку поднимает, так ?
нет докером системным управлет
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
Alexander Sushko
в kubelet'овом config.yaml
evictionHard:
 imagefs.available: 15%
 nodefs.available: 10%
 nodefs.inodesFree: 5%

подставить значения по вкусу. Также для evictionSoft
Как в minikube это сделать, не скажу, но копать надо куда-то в эту сторону
я так и делаю
источник

AS

Alexander Sushko in Kubernetes — русскоговорящее сообщество
Andrey Tkachenko
как можно понять с какими настройками текущий кублет работает?
pgrep -xla kubelet

и дальше смотреть в конфиги, с которыми запущен
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
Alexander Sushko
pgrep -xla kubelet

и дальше смотреть в конфиги, с которыми запущен
спасибо, ларчик просто открывался, буду наблюдать и думать про расширение корневого раздела
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Andrey Tkachenko
спасибо, ларчик просто открывался, буду наблюдать и думать про расширение корневого раздела
варианты
1. если все-таки у тебя есть отдельный раздел - можно попробовать через виртуалку, а не докер
2. не уверен - но файлы докера можно перенести на другой раздел (есть ключи, либо линком кинуть, либо маунт сделать на /var/lib/docker) - но как кьюблет отреагирует
источник

GG

George Gaál in Kubernetes — русскоговорящее сообщество
Andrey Tkachenko
спасибо, ларчик просто открывался, буду наблюдать и думать про расширение корневого раздела
драйвер docker ?
источник

AT

Andrey Tkachenko in Kubernetes — русскоговорящее сообщество
George Gaál
варианты
1. если все-таки у тебя есть отдельный раздел - можно попробовать через виртуалку, а не докер
2. не уверен - но файлы докера можно перенести на другой раздел (есть ключи, либо линком кинуть, либо маунт сделать на /var/lib/docker) - но как кьюблет отреагирует
у меня ноут, nvme, расширение в  деньги упирается, вернулся на linux с macos для ускорения, виртуалки не рссматриваю, так то направление понял спасибо буду пробовать
источник