Size: a a a

2020 August 10

ДН

Дмитрий Негреев... in Data Engineers
Привет! Есть такие кто щюпал префект? Какие-то преимущества перед airflow даёт?
источник

ПБ

Повелитель Бури... in Data Engineers
Товарищи! Хадуп в докере норм поднимать или это не бест практис?
источник

A

Alex in Data Engineers
Вообще это немного антипаттерн, но кого это когда останавливало?
источник

ME

Mikhail Epikhin in Data Engineers
Повелитель Бури
Товарищи! Хадуп в докере норм поднимать или это не бест практис?
А какая задача? Если на поиграться, то норм.
Если в проде, то зависит уже от того что там поднимать хотите
источник

ME

Mikhail Epikhin in Data Engineers
Повелитель Бури
Товарищи! Хадуп в докере норм поднимать или это не бест практис?
Ну и почему в докере хотите поднимать? Потому что все остальное в нем поднимаете?
источник

ПБ

Повелитель Бури... in Data Engineers
Да с клоудерой намучился. Все конфиги нода запоминает. Даже если remove. А в докере можно будет все очищать без артефактов
источник

ПБ

Повелитель Бури... in Data Engineers
Mikhail Epikhin
А какая задача? Если на поиграться, то норм.
Если в проде, то зависит уже от того что там поднимать хотите
Хочк быстро дата ноды добавлять
источник

A

Alex in Data Engineers
Мы точно про ту клоудеру говорим?

Клиентские в /etc
Серверные вообще каждый ран новая папка с текущим конфигом, на рестарте будет новая
источник

A

Alex in Data Engineers
Повелитель Бури
Хочк быстро дата ноды добавлять
А удалять как будете? Декомишен не самая быстрая операция
источник

ПБ

Повелитель Бури... in Data Engineers
Alex
Мы точно про ту клоудеру говорим?

Клиентские в /etc
Серверные вообще каждый ран новая папка с текущим конфигом, на рестарте будет новая
А как же opt/cloudera , data ?
источник

A

Alex in Data Engineers
Там же только бинари с jar
источник

A

Alex in Data Engineers
/data содержит номер кластера и если вы подключите потом к другому не зачистив данные то ничего не произойдёт
источник

A

Alex in Data Engineers
Скажет что в этой папке какой-то треш другой, датанода остановится
источник

ПБ

Повелитель Бури... in Data Engineers
Alex
Скажет что в этой папке какой-то треш другой, датанода остановится
Я стопаю службу агента. Удаляю все что можно с нод. (Clodura, data, tmp)Запускаю менеджер. И все равно старое видит. Уже не знаю что еще удалить )
источник

A

Alex in Data Engineers
Что значит старое?
Что запускаете?
источник

ПБ

Повелитель Бури... in Data Engineers
При добавлении нод cloudera были добавлены не по fqdn а ip. Решили поменять на  fqdn. Но менеджер продолжает видеть имена ip
источник

ПБ

Повелитель Бури... in Data Engineers
Hostname = fqdn
источник

ПБ

Повелитель Бури... in Data Engineers
В hdfs.xml прописали localhost
источник

ПБ

Повелитель Бури... in Data Engineers
В hostname оставили только localhost
источник

ПБ

Повелитель Бури... in Data Engineers
Network все почистили. Последняя надежда контейнер )
источник