E
Size: a a a
2020 December 15
E
не могу найти запись Спарк-митапа, где как раз Евгений Лопаткин классно рассказывал по тестирование Спарк-заданий…
Сергей, все что было.
AZ
Мы тут часто обсуждаем DSLи и их необходимость, вот хорошая пятничная статья с реальными историями (правда без прямых примеров в бигдате, но все равно будет интересно) https://www.infoq.com/articles/why-dsl-collection-anecdotes/
AS
Привет, может кто-нибудь писал правила alert для экспортёра prometheus https://github.com/marcelmay/hadoop-hdfs-fsimage-exporter ? Нужен базовый пример того что мониторить и на что обращать внимание.
UD
Привет, может кто-нибудь писал правила alert для экспортёра prometheus https://github.com/marcelmay/hadoop-hdfs-fsimage-exporter ? Нужен базовый пример того что мониторить и на что обращать внимание.
Ну самый простой пример количество блоков/файлов
UD
Когда кто-то накосячил с репартишеном в спарке
UD
Чтобы неймнода не умерла от гц
PF
соотношение размера хипа к количеству блоков, не закончился ли хип
PF
количество активных нод
PF
локи на хдфс
UD
Локи уже не к fsimage
PF
ой, извините) увидела слово хдфс и тут понесло
UD
Есть варик поинтереснее, но нужна пассивная неймнода
AE
Мы тут часто обсуждаем DSLи и их необходимость, вот хорошая пятничная статья с реальными историями (правда без прямых примеров в бигдате, но все равно будет интересно) https://www.infoq.com/articles/why-dsl-collection-anecdotes/
отвратительная статья. написана в самой мерзско-американской манере. с тоннами воды, без конкретики, но зато с выдуманными персонажами, которые "говорят, что". ладно хоть выжимка в начале есть, а то читать же невозможно.
GP
отвратительная статья. написана в самой мерзско-американской манере. с тоннами воды, без конкретики, но зато с выдуманными персонажами, которые "говорят, что". ладно хоть выжимка в начале есть, а то читать же невозможно.
Она же Пятничная
AZ
отвратительная статья. написана в самой мерзско-американской манере. с тоннами воды, без конкретики, но зато с выдуманными персонажами, которые "говорят, что". ладно хоть выжимка в начале есть, а то читать же невозможно.
да вам не угодить
AE
мы любим информационный стиль
UD
Есть варик поинтереснее, но нужна пассивная неймнода
пример велосипеда https://github.com/paypal/NNAnalytics
AZ
мы любим информационный стиль
автор-немец, не случайный человек в индустрии именно со стороны DSL (с очень немецким сайтом https://voelter.de/books.html), интересно было такой отзыв прочитать, по мне так статья как раз хорошее чтиво на тему, а не мануал; в плане мануала у него есть бесплатная книжка на тему https://voelter.de/dslbook/markusvoelter-dslengineering-1.0.pdf