ну и зп соответствующие такому набору

Обычно Hrам скидывают описание вакансии лиды/руководители/какое-то другое название должности, которое отвечает за проект и команду, а также понимаю кого именно ему надо. Если в описании вакансии нужно все то, что описал коллега выше, то, скорее всего, ответственный человек, которому в команду нужен специалист, забил на составление описания вакансии и отдал это на откуп HR. А что может сделать hr? Тоько простыню накатать.

все так и происходит обычно

Коллеги. Кто какую использует нотификацию о работе спарк джоб? Хотелось бы получать сообщения об их ошибка и их падении.

В слак можно по web api слать.

или по smtp в коде,
это я понимаю

Логи в спланк и настроить нотиыикацию на [ERROR

Как можно подсчитать сколько данных в день загрудается в HBase на  HDP?  Графики в графане изменить нельзя , чтобы суммировать метрики хотя бы для hlogFileSize

по размеру директории в HDFS?

Там вся информация по всем таблицам и очень много таблиц с разными TTL. Смотреть сколько сейчас и сколько было вчера будет неточно я думаю

какая точность вам нужна?

До десятков гига если возможно

грейлог + почта и телеграм-плагин

я не понял чем вам тогда не подходит анализ fsimage?

Как и что я могу там получить?

есть такая очень распространенная практика аналитики потребления HDFS: раз в день/неделю/месяц собирать fsimage, парсить его в CSV, затем складывать в какой-нибудь паркет, и анализировать

там хранится информация о всех файлах в HDFS, из размер, RF, число блоков и так дальше

используется обычно для анализа динамики, какие директории как быстро растут, а также это главный способ идентификации ребят которые пишут много мелких файлов

преобразование fsimage в CSV конечно делает  OIV http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsImageViewer.html

соотвественно из fsimage вы можете узнать объем данных каждой таблицы, неймспейса, всего hbase инстанса