AZ
что значит был? )
Кмк сейчас больше наливают хранилище или независимые витрины из даталейка, так не надо делать оффлоад)
Size: a a a
2021 April 05
N
У нас тут до сих пор начало нулевых, месяц назад днс заработал 🙈
сервер?
AF
Ага
AG
Помнится задавал вопрос в этом чате, как достать инфу которую спарк показывает в spark ui. В итоге родилось вот что:
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
AB
Помнится задавал вопрос в этом чате, как достать инфу которую спарк показывает в spark ui. В итоге родилось вот что:
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
круто, спасибо, надо попробовать
SS
Помнится задавал вопрос в этом чате, как достать инфу которую спарк показывает в spark ui. В итоге родилось вот что:
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
прометей, графана?
AG
Нету :(
AK
Помнится задавал вопрос в этом чате, как достать инфу которую спарк показывает в spark ui. В итоге родилось вот что:
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
https://github.com/sashgorokhov/pyspark-spy - само собирает спарк ивенты и можно без дополнительных екшонов узнать сколько строчек прочитало или записано во время спарк джобы. Это только пример, еще можно узнать сколько шафла было, сколько байт прочитано/записано. В принципе почти все цифры которые можно найти в spark ui.
2021 April 06
VS
Нету :(
jmx же? А для кастома можно использовать statsd
SS
прекрасно работает связка:
org.apache.spark.metrics.sink.StatsdSink (SPARK_HOME/conf/metrics.properties) => statsd-exporter => Prometheus static scraping => Grafana
org.apache.spark.metrics.sink.StatsdSink (SPARK_HOME/conf/metrics.properties) => statsd-exporter => Prometheus static scraping => Grafana
AG
❤
AK
...мяу?
b
Всем привет, скажите пожалуйста, кто-нибудь использует snowplow?
DZ
было дело
b
а почему было? не понравилось ? :)
b
В общих чертах впечатлениями можете поделиться?
DZ
да не, в целом было ок. Но канешн у нас не особо нагрузка была. десятки тысяч уников
DZ
глубина не оч большая просмотра
e
burzum
Всем привет, скажите пожалуйста, кто-нибудь использует snowplow?
А какой кейс применения?
b
А какой кейс применения?
Все супер обычно - ecom, трекать мобилки и сайты, грузить все в gbq, витринки делать.