SM
Size: a a a
2021 April 12
ID
Всем привет! А кто-нибудь посоветовать хорошие тг-каналы на тему распределенных систем/микросервисов/облачных технологий?
2021 April 13
AS
Клауд флуд хороший канал
АС
Итак коллеги, кого интересует ресайз PVC.
Диспозиция: Яндекс.облако, k8s 1.18. Есть SS, в моем случае с эластиком. К каждому поду прицеплен PVC.
Задача: расширить тома.
1. Редактируем поле
2. Дожидаемся в ивентах пода ошибки вида
5. Дожидаемся в статусе PVC сообщения че-т типа: запусти под, чтобы закончить ресайз ФС (не успел копирнуть). У меня этот этап иногда происходит практически мгновенно, а иногда до 15ти минут может затянуться. С чем это связано я понять не смог, в логах csi ничего криминального нет.
6. Делаем
7. (Этот пункт касается только эластика) Когда под стартанул нужно обязательно зайти в мониторинг эластика и убедиться, что все реплики индексов пришли в норму и все статусы зеленые.
8. повторять с 1п. столько раз, сколько томов нужно ресайзнуть.
Хочется отметить, что такой способ подойдет только для SS и DS, поды деплоймента скорее всего будут пытаться подняться на других нодах и там что-то другое, придется придумать. Один из коллег советовал прописать affinity, например.
Диспозиция: Яндекс.облако, k8s 1.18. Есть SS, в моем случае с эластиком. К каждому поду прицеплен PVC.
Задача: расширить тома.
1. Редактируем поле
spec.resources.requests.storage в PVC одного из подов2. Дожидаемся в ивентах пода ошибки вида
resize volume pvc-b2bb95b4-ea0c-40c6-a7d2-e559ce9ae135 failed: rpc error: code = FailedPrecondition desc = Error updating volume=epdj6m19pobu0pmno0pr, request-id = 27801d41-9ab6-463a-8531-cec11087445c rpc error: code = FailedPrecondition desc = Disk "epdj6m19pobu0pmno0pr" has an invalid state for this operation: attached to non-stopped instance3. Выясняем на какой ноде обитает под, который аттачит текущий PVC и делаем
kubectl cordon xxxxxxxxxxxxx-yyyy
4. Убиваем под kubectl delete elastic-es-data-X, после удаления под впадает в статус Pending, потому что его нода закордонена5. Дожидаемся в статусе PVC сообщения че-т типа: запусти под, чтобы закончить ресайз ФС (не успел копирнуть). У меня этот этап иногда происходит практически мгновенно, а иногда до 15ти минут может затянуться. С чем это связано я понять не смог, в логах csi ничего криминального нет.
6. Делаем
kubectl uncordon xxxxxxxxxxxxx-yyyy, при этом под начинает инититься и стартовать7. (Этот пункт касается только эластика) Когда под стартанул нужно обязательно зайти в мониторинг эластика и убедиться, что все реплики индексов пришли в норму и все статусы зеленые.
8. повторять с 1п. столько раз, сколько томов нужно ресайзнуть.
Хочется отметить, что такой способ подойдет только для SS и DS, поды деплоймента скорее всего будут пытаться подняться на других нодах и там что-то другое, придется придумать. Один из коллег советовал прописать affinity, например.
АС
ты просил позвать
V
PV у вас как организованы?
АС
PV создаются PVC
АС
а как еще?
V
Я не о том, CSI какой?
АС
а... не могу сказать, какой мне яндекс на ноду закатывает, тот и есть )
V
А понятно. У вас не селф кластер )
АС
угу, облачный, managed
V
Но всё равно сохраню вашу инструкцию, может пригодиться как точка отсчёта ).
D
Про безопасность и надежность микросервисных приложений и Kubernetes https://t.me/k8security
AL
В GKE у меня все наживую поехало без кордонов и тд
АС
Ну я уже на самом деле и так подозреваю, что это проблема яндекса как раз, тикет открыл, посмотрим что скажут
АС
добавил в пост уточнение про облако и версию кубика
АС
это просто копипаста из яндексового чатика, там-то это не нужно было уточнять, не подумал сразу )