Я заводил eflame и копался в продакшене, ну там правда был патч небольшой и запускали не на всю, а на выборочные места - потому что запустить на всю ноду и нагрузку не выдержит и вот вопрос, как в go там выдерживает или как работает.

В Erlang-е есть такая штука: https://erlang.org/doc/man/fprof.html

даже более https://erlang.org/doc/man/fprof.html

типа эволюция: eprof -> fprof -> eflame, а recon - простая либа, но со всеми счётчиками mailbox, process counts

посмотрел, действительно, там duplicate_bag, с ets:take при экспорте,
те нахреначить можно очень много и убить систему.

Сам прицип сбора метрик создает проблемы, данные должны аккумулироваться пока не будут прочитаны (prometheus) или успешно отправлены (statsd). Библиотекам конечно лучше иметь настройку максимального размера. Но я бы не надеялся что там что-то внезапно исправится, лучше просто открыть PR :).

В целом мониторинг где мониторят "все" - плохой мониторинг. Он слишком дорогой, в нем много шума. Лучше подумать какие метрики ключевые для приложения и мониторить только их.

Переполнение мейлбоксов процессов, например, чаще все мониторить не нужно. Когда они переполняются это случается быстро, мониториг это не исправит. И последствия и так видно еще до переполнения тем, что GenServer.call упадет по таймауту. С cast послонее, но будет креш процесса и причина креша.

Прометеус может ломаться, он может работать на стейджинге и слечь в продакшине (из-за других нагрузочных характеристик). Когда он ломается данные никто не пулит и все репортеры начинают переполняться

Вообще у кого сколько прометеус жрет памяти? У нас не стейджинге, например, больше 4 гиг. Это больше чем кластер из кучи приложений (которые частично тестируются через shadow test). На продакшине еще больше, но там приложения под нагрузкой и эти гиги не так жалко.

достаточно засунуть Aggregator.aggregate в его собственный periodic_poll,
что я сейчас и сделал.

Походил тут активно по собеседованиям и похоже вот эти все вакансии на hh.ru, которые висят месяцами, висят так нифига не потому что нет разработчиков как обычно жалуются наниматели, а просто потому что упорно пытаются найти человека на условия работы ниже рыночных по его способностям 😂🤦‍♂️ Причем даже они "подходящих" по их мнению прогеров находят, но они естественно в итоге идут в место получше, потому что могут 😂 Пришел к такому выводу со слов представителей Evrone, Netronix и одной из вакансий запиненной тут ;)
Ну и другие конкретные причины тоже есть типа текучки в фанбоксе, например.

Это честно говоря странно. В мире зп у эликсир разработчиков выше в среднем по палате

Это не так.

По отчетам StackOverflow так

Возможно вот этот момент наниматели еще не поняли 🤔

У этого есть объяснение - мало Junior-ов (те что есть приходят из других языков и как разработчики уже не юниоры). Поэтому средняя зарплата, которая рассчитывается между мидлами и сеньорами может и будет выше средней зарплаты, которая рассчитывается по сравнению с языком где юниоров больше статистически, но это не значит что Elixir-щикам действительно лучше платят.

А если смотреть именно хвост высоких зарплат(среднюю на 10% или 5% самых высоких зарплат, т.е. что получают прямо эксперты) - так Elixir окажется ниже, чем те же Go, Java, Python.

жавистов по ощущениям всё ещё в большинстве случаев не переплюнуть

Короче статистику нужно не топорно смотреть, чтобы видеть реальное положение дел.

🤘