Size: a a a

Kubernetes — русскоговорящее сообщество

2020 November 04

AN

Alexey Nakhimov in Kubernetes — русскоговорящее сообщество
Aleksey Lazarev
А просто добавить домен поиска чтобы он при коротком обращении поискал?
куда? в настройки физического сетевого интерфейса на каждой машине?
источник

AL

Aleksey Lazarev in Kubernetes — русскоговорящее сообщество
Alexey Nakhimov
куда? в настройки физического сетевого интерфейса на каждой машине?
Ммм ну вообще он раньше дефолтно прокидывал как раз resolve conf с ноды - если ты не менял поведение - да добавляй туда
источник

AN

Alexey Nakhimov in Kubernetes — русскоговорящее сообщество
Aleksey Lazarev
Ммм ну вообще он раньше дефолтно прокидывал как раз resolve conf с ноды - если ты не менял поведение - да добавляй туда
В Ubuntu уже давно файл resolv.conf ни на что не влияет, в нем написано, что его не надо редактировать:

└─# cat /etc/resolv.conf
# This file is managed by man:systemd-resolved(8).
Do not edit.
#
# This is a dynamic resolv.conf file for connecting local clients to the
# internal DNS stub resolver of systemd-resolved. This file lists all
# configured search domains.
#
# Run "resolvectl status" to see details about the uplink DNS servers
# currently in use.
#
# Third party programs must not access this file directly, but only through the
# symlink at /etc/resolv.conf. To manage man:resolv.conf(5) in a different way,
# replace this symlink by a static file or a different symlink.
#
# See man:systemd-resolved.service(8) for details about the supported modes of
# operation for /etc/resolv.conf.

nameserver 127.0.0.53
options edns0
источник

AN

Alexey Nakhimov in Kubernetes — русскоговорящее сообщество
я попробовал все свои 6 хостов перечислить на каждой машине в файле /etc/hosts с указанием айпи, короткого имени и FQDN - не помогло
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
Dmitry Sergeev
не, мне он нравится =) Я его конфигурю. В целом хорошо отношусь к подделкам Потеринга
я в целом тоже, просто в кубе несколько раз на эти грабли наступал уже, так что:
mkdir -p /var/lib/resolvconf
touch /var/lib/resolvconf/linkified
apt-get -y install resolvconf
systemctl disable systemd-resolved.service
systemctl mask systemd-resolved.service

но не исключаю что могли пофиксить уже
источник

L

Lucky SB in Kubernetes — русскоговорящее сообщество
Сергей Ладутько
У меня так и есть но он почемуто не подтягиваеться
Имена в разделах тлс и рулес должны совпадать. Посимвольно
источник

L

Lucky SB in Kubernetes — русскоговорящее сообщество
Yusif
Привет,
Какой verb в apiGroup должен быть, чтобы позволить пользователю выполнять describe на ingress объекте?
- apiGroups:
 - extensions
 resources:
 - ingresses
 verbs:
 - get
 - list
 - watch



Это настройка для Role в моём кластере.
Апи группа у тебя уже устервашая. Добавь ещё networking
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
kvaps
По первому вопросу выглядит как фича, так как цилиум агенты запускаются с hostNetwork: true, что кстати калико делает в данном случае?
Угу, но вот с хаблом не так все очевидно при таблшутинге, все равно приходится заходить на cilium агент, и вылавливать identity через cilium monotor. Чтобы проверить политику. Странно что они identity не выводят конечно в самом хабле.

У меня kube-router, в режиме тунелинга он просто использует внешний интерфейс, и соотвественно его адрес. Но это пофиг, просто удивился адресу из podCIDR которому cilium дропал пакеты, а pod'а такого не было =)
источник

Y

Yusif in Kubernetes — русскоговорящее сообщество
Lucky SB
Апи группа у тебя уже устервашая. Добавь ещё networking
networking.k8s.io 👌🏼 нашёл. Спасибо
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
kvaps
я в целом тоже, просто в кубе несколько раз на эти грабли наступал уже, так что:
mkdir -p /var/lib/resolvconf
touch /var/lib/resolvconf/linkified
apt-get -y install resolvconf
systemctl disable systemd-resolved.service
systemctl mask systemd-resolved.service

но не исключаю что могли пофиксить уже
а что за грабли? Мб я просто о них еще не знаю =)
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
Dmitry Sergeev
а что за грабли? Мб я просто о них еще не знаю =)
емнип coredns как-то очень прикольно глючил, ловил рекурсивные запросы с systemd-resolved и отказывался работать
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
источник

c

corsars in Kubernetes — русскоговорящее сообщество
kvaps
но если честно я беру официальный образ убунты из docker hub и собираю из него систему под физические ноды
Понимаю. Спасибо
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
kvaps
емнип coredns как-то очень прикольно глючил, ловил рекурсивные запросы с systemd-resolved и отказывался работать
хм, ааа, у меня node-local-dns он все сам резолвит и DNS хоста не использует
.:53 {
   errors
   cache 300
   reload
   loop
   bind 169.254.20.10
   forward . 8.8.8.8 8.8.4.4 1.1.1.1 {
           force_tcp
   }

мб поэтому я и не заметил проблему
источник

DS

Dmitry Sergeev in Kubernetes — русскоговорящее сообщество
Yusif
networking.k8s.io 👌🏼 нашёл. Спасибо
kubectl get --raw /apis | jq 
kubectl get --raw /apis/networking.k8s.io | jq
kubectl get --raw /apis/networking.k8s.io/v1beta1 | jq
источник

AN

Alexey Nakhimov in Kubernetes — русскоговорящее сообщество
Я так понимаю, вы что-то схожее обсуждаете... ))) Как быть с моей проблемой?
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
Alexey Nakhimov
Что-то я запутался.... Похоже, что-то у меня не так с разрешением имен в кластере.....
Вот мой кластер:

└─# kubectl get nodes
NAME          STATUS   ROLES         AGE    VERSION
cuba-kub-01   Ready    etcd,master   2d5h   v1.18.10+rke2r1
cuba-kub-02   Ready    etcd,master   2d1h   v1.18.10+rke2r1
cuba-kub-03   Ready    etcd,master   2d     v1.18.10+rke2r1
cuba-kub-04   Ready    node          2d     v1.18.10+rke2r1
cuba-kub-05   Ready    node          47h    v1.18.10+rke2r1
cuba-kub-06   Ready    node          47h    v1.18.10+rke2r1
✓ ��[ admin@cuba-kub-01 ]��[ 10.8.4.24 172.17.0.1 10.42.0.0 ]─[ 16:58:16 ]


Обратите внимания, что имена хостов все "короткие", они соответствуют хостнеймам машин. Поэтому пинг по короткому имени не пройдет, например, ping cuba-kub-02 вызовет ошибку. Во внутреннем DNS для этих хостов созданы записи, поэтому пинг по FQDN пройдет нормально:

└─# ping cuba-kub-02.haulmont.com
PING cuba-kub-02 (10.8.4.28) 56(84) bytes of data.
64 bytes from cuba-kub-02 (10.8.4.28): icmp_seq=1 ttl=64 time=0.263 ms


Теперь, собственно, проблема..... Я установил в кластер Прометеус, пытаюсь просто сделать port-forward для Grafana, находясь на первом мастере:

└─# kubectl -n monitoring port-forward prometheus-grafana-59bfb6b6bf-b476f 3000:3000
error: error upgrading connection: error dialing backend: dial tcp: lookup cuba-kub-06 on 10.5.0.3:53: server misbehaving
✗ ��[ admin@cuba-kub-01 ]��[ 10.8.4.24 172.17.0.1 10.42.0.0 ]─[ 17:05:53 ]



10.5.0.3 - это доменный DNS. Получается, Кубер ругается на то, что не может найти в DNS адреса cuba-kub-06.... Но там короткого и нет! Там есть FQDN - cuba-kub-06.haulmont.com

Я решил попробовать иначе - просто сделал Service, который пробросит порт 3000 нужного пода на NodePort. Сделал. У меня три воркера, по идее, Grafana должна быть доступна на любой рабочей ноде.... И по netstat я вижу, что нужный порт открылся на всех трех рабочих нодах....
Но! Реально загружается веб морда Графаны только на той рабочей ноде, где крутится под с Графаной, т.е., на cuba-kub-06 при попытке сменить ноду для подключения, браузер долго висит, а потом отваливается по таймауту.
Да и в Графане не открывается ни один дашбоард - говорит, что ошибка сервиса.
Такое ощущение, что отсутствует роутинг между рабочими нодами.....
Как быть?
А что за сеть у тебя?
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
попробуй постучаться с какой-нибудь ноды  на ip пода графаны
источник

AN

Alexey Nakhimov in Kubernetes — русскоговорящее сообщество
Обычная локалка с серыми адресами
источник

k

kvaps in Kubernetes — русскоговорящее сообщество
Alexey Nakhimov
Обычная локалка с серыми адресами
я скорее про CNI и kube-proxy
источник