Ж
Круто, только анализировать не в чем. На кластере только HBase, спарка и хайва нет. Есть какой то офлайн вариант?
Size: a a a
2019 December 05
AZ
OIV расшифровывается именно как Offline Image Viewer, он работает оффлайново, а работать с CSV файлом без спарка и хайва вроде мы в отрасли умеем
AZ
(пандас, в ПГ загрузить, эксель если данных мало - выбирайте)
Ж
Спасибо!
UD
да хоть этим
AZ
да, если погуглить в гитхабе (погитхабить?) fsimage то будет чем вдохновиться
AZ
Жмака
Спасибо!
ну мб это для вас оверхед, если вам одну-две таблицы смотреть то напишите скрипт который делает hdfs dfs -du -s /hbase/data/myNS/myTable и отправляет это куда вам надо
Ж
Там более 1900 таблиц😔
AZ
Жмака
Там более 1900 таблиц😔
если бы только был способ потворять какие-то операции в коде, как если они зациклены..
AZ
(извините)
AZ
просто у hbase плоская структура хранения НС/Таблица, и если все что вам нужно это анализ только объемов в hbase то кмк полноценная аналитика fsimage может быть из пушки по воробьям
Ж
Я думал просто из wal файлов узнать: сколько информации пишется в них в течение суток
AZ
это как?
Ж
В jmx есть метрика hlogFileSize. Это размер всех wal в регион сервере. В графане показан avg. Мысль была, что поскольку запись идет все равно в вал файлы то попроьовать суммировать эту метрику
AZ
вы вроде на уровне таблицы хотели?
Ж
Нет. Мне нужно на всем кластере а не на уровне таблицы
Ж
Просто необходима точность до десятков гигабайт: сколько гига ежедневно записывается в кластер hbase
AZ
hdfs dfs -du -s /hbase/data
AZ
точность будет до байта