YB
И они не работают.
Size: a a a
2020 November 10
YB
Т.к. выедают и память по лимиту и память из кэша.
AK
Т.к. выедают и память по лимиту и память из кэша.
Т.е. есть проблема с тем, что page cache некорректно считается и лимитируется в cgroups? Есть какие-то issue на эту тему?
YB
Ага, в доке которую ты дал ссылка.
YB
Он считается корректно, кубелет не понимает, что память есть и начинает расстрел.
AK
Он считается корректно, кубелет не понимает, что память есть и начинает расстрел.
Интересно. Тогда отдельные ноды без eviction-soft и eviction-hard для подобных workload'ов.
YB
Спасибо. Это сработало бы, но в нашем случае почти невозможно реализовать или очень хлопотно будет.
AK
Спасибо. Это сработало бы, но в нашем случае почти невозможно реализовать или очень хлопотно будет.
Это классный вопрос. Я почитаю интернет и у нас посмотрю. Мало таких disk-intensive workload'ов и не видели триггеров таких регулярных.
VT
@zuzzas еще вопросик небольшой. Верно ли, что если под выходит за лимиты, то приходит оом и убивает этот под, но если под не выходит pа лимиты, но на ноде по каким-то причинам не хватает ресурсов, то здесь уже работает eviction + node oom behavior?
AK
@zuzzas еще вопросик небольшой. Верно ли, что если под выходит за лимиты, то приходит оом и убивает этот под, но если под не выходит pа лимиты, но на ноде по каким-то причинам не хватает ресурсов, то здесь уже работает eviction + node oom behavior?
Верно.
VT
c
У меня ингресс контроллер задыхается хотел спросить нормально было бы его деплоить в отдельный node pool?
Задыхается на входящем трафике или уже на форварде в приложения ?
AK
Спасибо. Это сработало бы, но в нашем случае почти невозможно реализовать или очень хлопотно будет.
А что если пересобрать kubelet с патчем? Если такое поведение page cache аккаунтинга нежелательно?
YB
А что если пересобрать kubelet с патчем? Если такое поведение page cache аккаунтинга нежелательно?
Логику кубелета поменять? В теории можно, в нашем случае врятли прокатит. Кластеров много, некоторые клиентские. Все гибридные с облаком. Поддержка своей сборки и бюрократия убъют затею.
YB
Похоже будем кэш сбрасывать скриптом и базы выводить в облака неспешно.
YB
Ещё по идее eviction threshold у кубелета можно занизить на следующем обновлении, до уровня на котором ядро начинает кэш чистить. Но не уверен.
YB
Сейчас ещё обсуждается вариант отрубания kmem через параметр ядра cgroup.memory=nokmem, но тестировать надо.
IB
Всем добрый вечер. Подскажите, если в external-dns изменить параметр который отвечает за автоматическое удаление хостов, он почистит те хосты которые были созданы "руками" в aws route 53?
Параметр:
- '--policy=upsert-only' заменить на - '--policy=sync'
Параметр:
- '--policy=upsert-only' заменить на - '--policy=sync'
RW
Чтобы не удалял используй
registry: txt txtOwnerId: "prod-cluster"IB
Чтобы не удалял используй
registry: txt txtOwnerId: "prod-cluster"спасибо!!!