S
даже не хочу вспоминать 🙈
Size: a a a
2020 September 11
S
Итак вопрос, не совсем про питон, но тоже интересный. Есть куб + efs. Пропускная способность иногда прыгает, отследить кто именно "балуется" сложно. Хочется замутить прослойку и начать замерять i/o статистику per file. Пока мысль только одна, мапить через bindfs немного доработав его, засунув туда сбор статистики. А есть ещё варианты? Кто-нибудь сталкивался?
S
Смелее! Аналоги под cephfs тоже подойдут.
p
Итак вопрос, не совсем про питон, но тоже интересный. Есть куб + efs. Пропускная способность иногда прыгает, отследить кто именно "балуется" сложно. Хочется замутить прослойку и начать замерять i/o статистику per file. Пока мысль только одна, мапить через bindfs немного доработав его, засунув туда сбор статистики. А есть ещё варианты? Кто-нибудь сталкивался?
per file? Но чем? )
S
per file? Но чем? )
что значит чем?
p
что значит чем?
Как вы планируете собирать статистику per file?
S
эм, ну как? красто описал же) Между efs и контейнерами замутить прокси, рабочий варик это мапить директории через bindfs. К примеру /efs сама шара, а уже какой-нибудь /store это забинденная через fuse директория с замапленными правами для нужного пользователя и внутри с нашей будущей прослойкой.
S
не уверен, что прям супер понятно объяснил, ну как смог
S
это пока альфа вариант, но я его пока прорабатываю.
p
эм, ну как? красто описал же) Между efs и контейнерами замутить прокси, рабочий варик это мапить директории через bindfs. К примеру /efs сама шара, а уже какой-нибудь /store это забинденная через fuse директория с замапленными правами для нужного пользователя и внутри с нашей будущей прослойкой.
Ну... bindfs - это fuse.
S
Ну... bindfs - это fuse.
да неужели? :D
S
"забинденная через fuse" я имел ввиду bindfs as well, для добавления красок тексту, чтобы не повторяться, решил второй раз уже обозвать его fuse.
p
"забинденная через fuse" я имел ввиду bindfs as well, для добавления красок тексту, чтобы не повторяться, решил второй раз уже обозвать его fuse.
Я давно работал с fuse и не помню есть там какая-то информация о том кто породил i/o
S
Разумеется efs + bindfs прослойка не обещает больших скоростей, но этого и не требуется, а вот понимать откуда именно в настоящий момент времени идёт активная запись было бы конечно не плохо. Закрадываются мысли, что это слишком ресурсоёмко, если и мерить хотя бы per process и на контейнерах тогда.
p
Ну и скорее всего mmapped i/o будет без этой информации
S
так информацию можно будет снимать с самого bindfs просто впаяв в него отладчик
S
у меня все проблемы из-за куба, не нравится мне эта хрень :(, чего не скажешь про сами контейнеры.
S
единственным нормальный решением под него в aws это efs (nfsv4)
S
но его нельзя ограничивать, шара у всех одинаковая
S
за каждый 1Mb/s пропускной способности надо платить $6 в месяц