Size: a a a

2020 August 03

A

Alex in Data Engineers
Ivan
да блин на весь стек есть helm-чарты

и спарк
и хдфс+хайв+метастор
и зеппелин с суперсетом

и даже персистентность там включается

просто ставится это какой то разножопицей, и вечно всплывают мелкие косяки. например:
спарк не тянет паркет из хдфс - либы не хватает какой то. не беда доставить, но это ведь до первого перезапуска.

или - в хдфс не получить рутовые права, а без них юзера не сделать
Все же понимают что систему не только засетапить но и поддерживать
источник

I

Ivan in Data Engineers
ладно. всем спасибо за мнения и дискуссию, по крайней мере на душе стало не так противно)
источник

АЖ

Андрей Жуков... in Data Engineers
Старый Хрыч
так субд сейчас и модно тащить в кубер, постоянно вакухи то пг на 12 шардов патрони, то mysql галера через оператор на 5-6 нод
ну, с оператором еще хоть как-то можно
источник

СХ

Старый Хрыч... in Data Engineers
Андрей Жуков
ну, с оператором еще хоть как-то можно
это на первый взгляд, а потом оказывается он кривой и не доделанный...
источник

АЖ

Андрей Жуков... in Data Engineers
ну так это не проблема куба уже 🙂
источник

A

Alex in Data Engineers
Старый Хрыч
это на первый взгляд, а потом оказывается он кривой и не доделанный...
Так ты выбирай доделанный, либо доделай и в опенсорс его
источник

АЖ

Андрей Жуков... in Data Engineers
Alex
Так ты выбирай доделанный, либо доделай и в опенсорс его
+
источник

СХ

Старый Хрыч... in Data Engineers
Alex
Так ты выбирай доделанный, либо доделай и в опенсорс его
я вообще против таких вещей в кубере
источник

AS

Andrey Smirnov in Data Engineers
Nikolay
Есть wide dependencies ,а wide transformations не бывает. Просто в глаза бросается . Не смог не написать ).сорян
бывают
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Dataset.html
аналогично, не смог удержаться
источник

АЖ

Андрей Жуков... in Data Engineers
Andrey Smirnov
бывают
https://spark.apache.org/docs/2.1.0/api/java/org/apache/spark/sql/Dataset.html
аналогично, не смог удержаться
источник

I

Ivan in Data Engineers
Старый Хрыч
я вообще против таких вещей в кубере
а люди радуются. берут кубер, ставят туда БД-оператор и говорят - это DBaaS!))
источник

АЖ

Андрей Жуков... in Data Engineers
Ivan
а люди радуются. берут кубер, ставят туда БД-оператор и говорят - это DBaaS!))
ну нет, мы не так говорим 🙂
источник

AS

Andrey Smirnov in Data Engineers
точно :)
источник

СХ

Старый Хрыч... in Data Engineers
Ivan
а люди радуются. берут кубер, ставят туда БД-оператор и говорят - это DBaaS!))
до первых проблем с бд
источник

SM

Sanzhar Magzumov in Data Engineers
Всем привет
Вопрос знатокам хайва,
Функция map может собирать поля таблицы в key value хранилище. Можно ли задавать название ключа не вручную, а запросом значений из таблицы, то есть чтобы результатом этой функции было не {'key1': field1, 'key2': field2...}, а нечто  {select field 1 from table top1: field1,  select field 2 from table top1: field2...},
источник

SM

Sanzhar Magzumov in Data Engineers
Короче названия полей прописаны в первой строке, подтянуть их оттуда
источник

А

Алексей in Data Engineers
Andrey Smirnov
и похоже сделан через bin
Bin как-то понятней выглядит.  Интересно какой алгоритм в классических бд
источник

R

Rodion in Data Engineers
Старый Хрыч
до первых проблем с бд
У вас же есть DBaaS
источник

R

Rodion in Data Engineers
Переслано от Андрей Жуков...
ну нет, мы не так говорим 🙂
источник

АЖ

Андрей Жуков... in Data Engineers
Rodion
Переслано от Андрей Жуков
ну нет, мы не так говорим 🙂
ну так это не база в кубах
источник