S
у нас пока два по 30
Size: a a a
2020 September 11
p
так информацию можно будет снимать с самого bindfs просто впаяв в него отладчик
Окей, зайдем по-другому. На хосте с 64гб памяти программа записала 1гб в файл и завершилась, потом кто-то позвал fsync, из-за которого грязные страницы поедут на диск. Кто автор i/o?
2020 September 12
N
Итак вопрос, не совсем про питон, но тоже интересный. Есть куб + efs. Пропускная способность иногда прыгает, отследить кто именно "балуется" сложно. Хочется замутить прослойку и начать замерять i/o статистику per file. Пока мысль только одна, мапить через bindfs немного доработав его, засунув туда сбор статистики. А есть ещё варианты? Кто-нибудь сталкивался?
Biolatency из bcc/bpf?
S
Окей, зайдем по-другому. На хосте с 64гб памяти программа записала 1гб в файл и завершилась, потом кто-то позвал fsync, из-за которого грязные страницы поедут на диск. Кто автор i/o?
Всё гораздо проще, мне не важно кто в самой системе автор перформанса, мне важно лишь какой контейнер (из пачки) начал создавать избыточную нагрузку. То есть есть несколько немспейсов в каждом по 8 контейнеров и от каждого немспейса по три контейнера смотрят в efs. Нужен изящный способ выявлять и ограничивать «нарушителей» чтобы пропускная способность сильно не забивалась.
S
а вообще, если у меня не получится, efs станет для нас большим bottleneck-ом :(
S
Biolatency из bcc/bpf?
если бы, biolatency для блочных устройств жеж
S
а в моём случае efs/nfsv4
N
если бы, biolatency для блочных устройств жеж
Ну, формально ты можешь любую функцию коллбэчить так же
S
Ну, формально ты можешь любую функцию коллбэчить так же
завтра буду смотреть, утро вечера мудренее, я теперь вовремя ложусь спать, пора 😴
S
если появятся годные мысли, поделюсь потом.
ST
Итак вопрос, не совсем про питон, но тоже интересный. Есть куб + efs. Пропускная способность иногда прыгает, отследить кто именно "балуется" сложно. Хочется замутить прослойку и начать замерять i/o статистику per file. Пока мысль только одна, мапить через bindfs немного доработав его, засунув туда сбор статистики. А есть ещё варианты? Кто-нибудь сталкивался?
Шикарно ворвался :)
N
Легендарный Докер и его внук, популярный Бокер
N
VM
VM
Такой как бы докер для бедных) и даже сам автор предупреждает, что запускайте вы это всё лучше на виртуалке от греха подальше. Интересно, можно ли в докере запустить? 🤔
MD
Забавная поделка как PoC) но сильно сырая и творит различные непотребства в системе)
По сути обёртка над btrfs и cgroups, и плюс что-то с сетевыми интерфейсами мутит. А имаджи качает, кстати, с docker.io ;)
Но забавно
По сути обёртка над btrfs и cgroups, и плюс что-то с сетевыми интерфейсами мутит. А имаджи качает, кстати, с docker.io ;)
Но забавно
Это ты все про docker же написал, да? Полностью поддерживаю. 🐹
N
AS
Сейчас актуальнее про jit. Нет? Как, уже даже у эрланга есть?
AB
Rust is dead
S
Rust is dead
Какие ваши доказательства?