Size: a a a

2020 September 22

Р

Ренат in Data Engineers
Alexandr Vladimirovich
нет, я пользователь аренадаты (GP юзаем) и смотрим что можно заиспользовать еще
у нас тоже GP есть но он простой там особо проблем нету, но с хадупом печаль... бег по граблям.... не могу подробности писать связан NDA
источник

AV

Alexandr Vladimirovi... in Data Engineers
Dmitry Zuev
вроде как да
+1
у нас ADCM для GP плейбуки катает)
источник

Р

Ренат in Data Engineers
Alexandr Vladimirovich
там ведь можно и без поддержки и лицензии юзать продукт?
у нас купленый насчет без подержки и лицензии сильно совневаюсь
источник

AZ

Anton Zadorozhniy in Data Engineers
Dmitry Zuev
вроде как да
это не звучит как рецепт успеха
источник

AZ

Anton Zadorozhniy in Data Engineers
хотя если они там армией тестировщиков это все гоняют на всяких обновлениях и роллбеках и оно не падает - может быть и годно
источник

AV

Alexandr Vladimirovi... in Data Engineers
а есть альтернативы? Или все ванилькой пользуются?
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
а есть альтернативы? Или все ванилькой пользуются?
aws emr create-cluster --release-label <release-label> --instance-type <instance-type> --instance-count <instance-count>
источник

DZ

Dmitry Zuev in Data Engineers
Anton Zadorozhniy
aws emr create-cluster --release-label <release-label> --instance-type <instance-type> --instance-count <instance-count>
источник

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
aws emr create-cluster --release-label <release-label> --instance-type <instance-type> --instance-count <instance-count>
ну облака это отдельная история, не все могут себе позволить их)
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
ну облака это отдельная история, не все могут себе позволить их)
ну вы спросили про то чем все пользуются, этим пользуются довольно многие
источник

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
ну вы спросили про то чем все пользуются, этим пользуются довольно многие
ну счастливые люди значит)
источник

AZ

Anton Zadorozhniy in Data Engineers
рынок он-премного бареметал хадупа схлопывается, не ждите больших вливаний, если у вас нет привязки к вендорами и больше людей чем денег - пилите свои собственные ансибл плейбуки и будете сами хозяевами своей судьбы
источник

AZ

Anton Zadorozhniy in Data Engineers
ну или как вариант смотрите на другие платформы компьют+сторадж, например k8s + object store, там чуть больше жизни в части он-премного внедрения, но тоже все будет перетекать в облака
источник

AV

Alexandr Vladimirovi... in Data Engineers
Anton Zadorozhniy
ну или как вариант смотрите на другие платформы компьют+сторадж, например k8s + object store, там чуть больше жизни в части он-премного внедрения, но тоже все будет перетекать в облака
типа spark job k8s + s3?
источник

DZ

Dmitry Zuev in Data Engineers
С3 лайк
источник

DZ

Dmitry Zuev in Data Engineers
И аф
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
типа spark job k8s + s3?
да, всякие минио сефы исилоны и кубер (опеншифт)
источник

AV

Alexandr Vladimirovi... in Data Engineers
ну есть гипотеза у меня, если не сильно обмазываться hadoop ecosystem, внедрить hdfs + hive и все джобы гонять на k8s, то жить вроде как можно
источник

AV

Alexandr Vladimirovi... in Data Engineers
я не сильно верю что вся экосистема взлетит, но какие-то более обкатанные части вполне, главное не упарываться
источник

AZ

Anton Zadorozhniy in Data Engineers
Alexandr Vladimirovich
я не сильно верю что вся экосистема взлетит, но какие-то более обкатанные части вполне, главное не упарываться
that's the spirit! :)
источник