Size: a a a

2019 November 05

EV

Eduard Vlasov in Data Engineers
🤔 в 1,5 раза дороже всего EMR
источник

EV

Eduard Vlasov in Data Engineers
в принципе если делить кластера то есть смысл посмотреть
источник

EV

Eduard Vlasov in Data Engineers
спасибо!
источник

EV

Eduard Vlasov in Data Engineers
если там реально оптимизатор не такой глупый как в ваниле
источник

AZ

Anton Zadorozhniy in Data Engineers
там за счет СВО выгода тем выше, чем больше вы вкладываете в его использование: собираете статистику, моделируете под него
источник

EV

Eduard Vlasov in Data Engineers
у меня вот со статистикой беда
источник

EV

Eduard Vlasov in Data Engineers
так как все данные в external tables
источник

AZ

Anton Zadorozhniy in Data Engineers
тогда большой выгоды не будет
источник

EV

Eduard Vlasov in Data Engineers
😢
источник

EV

Eduard Vlasov in Data Engineers
а что значит "моделируете под него"?
источник

AZ

Anton Zadorozhniy in Data Engineers
Eduard Vlasov
так как все данные в external tables
вроде Analyze работал по external, или я путаю?
источник

EV

Eduard Vlasov in Data Engineers
у меня чот не хочет, но может это я тупой, я не сильно копал
источник

EV

Eduard Vlasov in Data Engineers
Anton Zadorozhniy
вроде Analyze работал по external, или я путаю?
external tables + s3, надо заметить
источник

AZ

Anton Zadorozhniy in Data Engineers
Eduard Vlasov
а что значит "моделируете под него"?
у нас тут есть пособие, про параметры всяких форматов в престо, просто опись набитых шишек, у всех опытных пользователей есть такое :)
источник

EV

Eduard Vlasov in Data Engineers
покажите куда гуглить
источник

AZ

Anton Zadorozhniy in Data Engineers
боюсь это внутренняя информация, часть консалтинга который мы продаем :)
источник

AZ

Anton Zadorozhniy in Data Engineers
но хорошая тема для доклада где-нибудь, я подумаю как что-то особенно ценное рассказать
источник

EV

Eduard Vlasov in Data Engineers
👍
источник

SB

Sergey Bakaleynik in Data Engineers
Всем добрый вечер. Столкнулся с проблемой мне надо переменную расширить на несколько нод и обновлять ее как это можно сделать? broadcast уже сделал но что дальше делать хз🤔 Hadoop 3 ноды
источник

GP

Grigory Pomadchin in Data Engineers
Sergey Bakaleynik
Всем добрый вечер. Столкнулся с проблемой мне надо переменную расширить на несколько нод и обновлять ее как это можно сделать? broadcast уже сделал но что дальше делать хз🤔 Hadoop 3 ноды
у тебя спарк в итоге?
источник