SS
JetBrains? я на коммьюнити все еще сижу (((
Size: a a a
2020 October 02
SS
я роняя кал билдю из исходников parquet-mr, вечно все случается невовремя
ME
Можешь попробовать открыть нашими big data tools
Кстати, крутая штука, спасибо) Хадуп кластер тоже удобно мониторить)
ПФ
Кстати, крутая штука, спасибо) Хадуп кластер тоже удобно мониторить)
Ееее! Если ты воткнёш на 5 звёзд будет вообще огонь
ПФ
я роняя кал билдю из исходников parquet-mr, вечно все случается невовремя
Большой файл?
SS
Большой файл?
62 MB
ПФ
62 MB
кинь мне, я потыкаю
SS
кинь мне, я потыкаю
послал в личку! спасибо!
TT
Кто нибудь использует azure sqldw ? Возникли внезапные тормоза, сами майкрософтовцы не поймут в чем дело
SS
гипотетически возможно, что причина битого паркет-файла в том, что я через
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
SS
тогда насколько я понимаю, ssc не должен был записать в чекпойнты что обработал порцию данных (оффсеты Кафки)
SS
то бишь я могу дропнуть битый паркет и прогнать контрольную проверку по Кафке и по своим приземленным паркетам
N
Или хдфс нездоровится
похоже, что да. одна из NN какая-то хворая. свитчнул местами-все прошло.
ПФ
гипотетически возможно, что причина битого паркет-файла в том, что я через
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
Да, возможно. Это не грейсфул шатдаун, который может сломать что угодно
ПФ
Мы в ламоде специальный велосипед писали чтобы нормально останавливать стримингджобы
K
гипотетически возможно, что причина битого паркет-файла в том, что я через
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
"yarn app -kill"
убил Spark-задание со Spark Streaming Context внутри?
модифицировали интерфейс юайки
SS
Мы в ламоде специальный велосипед писали чтобы нормально останавливать стримингджобы
можете поделиться алгоритмом велосипеда? файлы-маркеры в HDFS/S3, при появлении которых ssc делает грейсфул шатдаун?
K
и сделали копку шатдауна стримов
K
можете поделиться алгоритмом велосипеда? файлы-маркеры в HDFS/S3, при появлении которых ssc делает грейсфул шатдаун?
прям как вы сказали было сделано
SS
мне не нужно в UI, мне в CICD-флоу впихнуть нужно корректные редеплой стримов