GG
да я чет столько проблем с cilium огребаю, что похоже мне проще остаться на kube-router
Ты главное сформулируй все проблемы и иди на Хабр со статьей
Size: a a a
2021 January 04
GG
Типо «рассвет цилиум ещё не наступил»
GG
народ, а кто-нибудь некстклауд в кубе гоняет?
Нет
G
Или скрестить cilium с kube-router 🤔
Звучит, как будто тебе не нужен силиум
G
Силиум агент за маршрутизацию не отвечает, но при vxlan агент инкапусулирует идентити
Возможно, из-за этого и растёт потреьление цпу
k
Нет
спорим, что да? @kvaps, гоняешь некстклауд в кубе?
t
Попутно разочаровался и в cilium. агент на ноде, на которую я отправлял 3К rps, почему-то тоже начинает потреблять CPU 🤷
А вот kube-router'у пофиг, есть трафик или нет - потребляет всегда одинаково и совсем чутка
А вот kube-router'у пофиг, есть трафик или нет - потребляет всегда одинаково и совсем чутка
Мож у тебя карточка не поддерживает ebpf?
DS
го-шные как минимум, сборку мусора, работа с памятью. Может это не сам nginx тормозит, а вся обёртка контейнеровская. upstream_latency, process_connections (с разными статусами), request_size (может там с апстримами мелкими блоками работает), response_duration (может апстримы "тормозят")
гошные посмотрю. Но смысла тоже не вижу - так как на это я полвиять могу условно починив и заслав PR. А я не сильно завязан на nginx ingress controller, давно хотел посмотреть на другие. Вот и по тестю, мне если честно nginx ingress controller никогда не нравился, ну плох nginx для такого =)
t
Попутно разочаровался и в cilium. агент на ноде, на которую я отправлял 3К rps, почему-то тоже начинает потреблять CPU 🤷
А вот kube-router'у пофиг, есть трафик или нет - потребляет всегда одинаково и совсем чутка
А вот kube-router'у пофиг, есть трафик или нет - потребляет всегда одинаково и совсем чутка
А есть график с куб роутером?
DS
Типо «рассвет цилиум ещё не наступил»
ну тут скорее "рассвет цилиум еше не наступил в моем кейсе". Есть кейсы где люди не встрачаются с такими проблемами. Ну вот еще попробую vxlan => Geneve заменить, а потом еще с kube-router скрестить, чтобы за связность хостов он отвечал.
DS
А есть график с куб роутером?
Там сразу ниже: https://t.me/kubernetes_ru/334991. Там просто kube-router'у ваще пофиг, и никак CPU не зависит от трафика
SM
гошные посмотрю. Но смысла тоже не вижу - так как на это я полвиять могу условно починив и заслав PR. А я не сильно завязан на nginx ingress controller, давно хотел посмотреть на другие. Вот и по тестю, мне если честно nginx ingress controller никогда не нравился, ну плох nginx для такого =)
Да можно и nginx controller стрейсить, там хоть видно на какие вызовы, он cpu время тратит
SM
ты может там в диск уперся
SM
СГ
гошные посмотрю. Но смысла тоже не вижу - так как на это я полвиять могу условно починив и заслав PR. А я не сильно завязан на nginx ingress controller, давно хотел посмотреть на другие. Вот и по тестю, мне если честно nginx ingress controller никогда не нравился, ну плох nginx для такого =)
если сравнить системные вызовы у нжинкс в кубере и второго? в процентном отношении отклонения могут подсказать куда копать дальше
СГ
Да можно и nginx controller стрейсить, там хоть видно на какие вызовы, он cpu время тратит
++
DS
Мож у тебя карточка не поддерживает ebpf?
этот тест на виртуалках проводил. Ядро
Да и там cilium чекает же всё это и пишет если что не так
5.4.0-54-generic, Ubuntu 20.04.Да и там cilium чекает же всё это и пишет если что не так
СГ
Да можно и nginx controller стрейсить, там хоть видно на какие вызовы, он cpu время тратит
возможно что через perf будет полезнее
t
по идее это можно проверить 🤔. Какой-нибудь flannel задеплоить для vxlan, а cilium для всего остального
Есть уже готовый kanal вроде, там типа фланел как л2 и калико или цилиум как файрвол
DS
Есть уже готовый kanal вроде, там типа фланел как л2 и калико или цилиум как файрвол
там же calico вроде