Size: a a a

2020 August 03

I

Ivan in Data Engineers
и всем снова привет.

пожскажите пож - а есть какой то человеческий способ отправить в кубер hdfs+hive+hive metastore+spark?

как это делают правильные и праведные люди?
источник

АЖ

Андрей Жуков... in Data Engineers
Ivan
и всем снова привет.

пожскажите пож - а есть какой то человеческий способ отправить в кубер hdfs+hive+hive metastore+spark?

как это делают правильные и праведные люди?
hdfs в кубы?
источник

I

Ivan in Data Engineers
Андрей Жуков
hdfs в кубы?
просто не спрашивайте об этом, не я придумал
источник

АЖ

Андрей Жуков... in Data Engineers
ну вот пусть тот зайтейник и расскажет 🙂
источник

АЖ

Андрей Жуков... in Data Engineers
у всего этого есть элементы, которые требуют перзиста и стейта
источник

АЖ

Андрей Жуков... in Data Engineers
а это в кубах шипко дорого
источник

СХ

Старый Хрыч... in Data Engineers
Ivan
и всем снова привет.

пожскажите пож - а есть какой то человеческий способ отправить в кубер hdfs+hive+hive metastore+spark?

как это делают правильные и праведные люди?
они избивают придумавшего палками
источник

СХ

Старый Хрыч... in Data Engineers
и шлют на 3 буквы
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
а это в кубах шипко дорого
а главное ещё половину парметров ядра не передать, и потом производительность страдает
источник

СХ

Старый Хрыч... in Data Engineers
spark можно конечно в кубер
источник

АЖ

Андрей Жуков... in Data Engineers
ну хдфс в принципе шаренные ресурсы не любит
источник

СХ

Старый Хрыч... in Data Engineers
как будто hive жалует
источник

АЖ

Андрей Жуков... in Data Engineers
ну, метастор + спарк + трифт норм
источник

АЖ

Андрей Жуков... in Data Engineers
но метастор опять же противоречит идее кубов
источник

СХ

Старый Хрыч... in Data Engineers
😐я вот сейчас читаю, как делать cuda+openshift+airflow+spark
источник

СХ

Старый Хрыч... in Data Engineers
и то думаю будет куча проблем
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
😐я вот сейчас читаю, как делать cuda+openshift+airflow+spark
зависит от версии опеншифта 🙂
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
зависит от версии опеншифта 🙂
4,4
источник

СХ

Старый Хрыч... in Data Engineers
точнее это будет okd
источник

АЖ

Андрей Жуков... in Data Engineers
Еще и спарк до 3 принесет много эмоций с wide-transformations :)
источник