Ресурс-менеджер - это такая компьютерная программа.

Она работает на master-ноге. Главный ярн такой.

По ssh туда ходи

и пиши vi /path/to/yarn-site.xml

ну или nano /path/to/yarn-site.xml

а то потом выйти тяжело

ну и заодно поведай нам, что за ЭВМ у тебя в кластере

lscpu там

cat /proc/meminfo

даже интересно, это реально на banana pi кластер собрали или настроено так горбато.

ed

хост из URL веб страницы возьми

sudo -u root mc

emacs -nw -c ssh -i <key> <adrdess>@<port>

Привет, у меня есть спарк СС (source - kafka), которая после того как прочла все ивенты в топике начинает генерить очень много логов (INFO) что то типо такого:
Seeking to LATEST offset of partition ....
Resetting offset for partition ....
Подскажите пожалуйста как их можно отключить? Я как понимаю топик пустой, данных нет и поэтому генерятся эти логи, возможно я не прав

Всем привет. Прошу подсказать как из  Cassandra считать всю таблицу(порядка 500К записей). В данный момент получается только 10К записей считать, если увеличить это число то возникает ошибка

считать следующие 10к и т.д.?

Начинал делать, но это для работы надо было, когда выиграл orc или parquet. Делал сравнение разных типов запросов из Spark, hive и athena, с разными вариантами сортировки, бакетирования и так далее. Начал даже писать статью для хабра с этим сравнением(там цифры, графики, серии замеров на каждый кейс, ну более менее приличное сравнение), но понял, что в меня уже много страниц, а я ещё только малую часть оформил и описал и как - то забил, если честно.

Потом понял, что нужно прогонять больше типов запросов, чтобы не так однобоко было, что ещё бы и джоины с бакетированием добавить и получалось очень много сделать.

А ещё нужно учитывать версии orc и паркета и версии ридеров у джижков. Потому что фраза "сравнить pdo в orc и parquet" разворачивается а "сравнить эффективность pdo в ряде случаев на разных набора данных, а также при различнлм размазывании этих данных, с разными ключевыми версиями orc и parquet на разных ключевых версиях основных популярных фреймворках"
Это я все к тому, что это достаточно большое задание на самом деле.