VZ
Можешь пожалуйста рассказать подробнее
Широкий охват тем. Достаточно глубокое погружение. Полезные практические задания. Даже по темам, которые я знал, узнавал что-то новое, какие-то детали, нюансы.
Size: a a a
2020 January 08
P@
Ребят, а ктото уже проходил курс по data engineer на отусе?
Если с нуля, то тяжеловато
IR
Если с нуля, то тяжеловато
с нуля что ты имеешь ввиду
P@
Например про скалу вообще не в курсе
P@
Слоудеру раньше никогда не видел
IR
А сколько у тебя лет в data engineering?
IR
я просто транзион из qa хочу сделать
VZ
Если с нуля, то тяжеловато
Этот курс не для тех, кто с нуля. У него входное тестирование есть.
DA
Слоудеру раньше никогда не видел
О существовании клаудеры до курса не знал, о скале знал только то, что она существует. И ничего, полет нормальный :)
DA
я просто транзион из qa хочу сделать
Думаю если с одним из яп знаком и есть опыт в sql то должно быть достаточно, остальное по ходу курса можно будет разботать.
DA
После праздников пойдет второй месяц обучения из четырёх. Мне нравится. Программа годная, преподы читают предметы явно с удовольствием. ДЗ по мне так вполне себе интересные. Эт я про отусовский курс ежели что, @Makishmaki
IR
Спасибо ребят что ответили
DA
Спасибо ребят что ответили
Всегда пожалуйста, если что пиши :)
OI
Всем привет!
А приходилось ли кому-нибудь делать Hadoop DistCP over ssh?
А приходилось ли кому-нибудь делать Hadoop DistCP over ssh?
OI
Дело в том, что для DistCP нужно открыть наружу порты для NN и DN. Это не позволяется файрволом.
VS
Очевидно, что надо использовать edge node как промежуточную
2020 January 09
OI
Очевидно, что надо использовать edge node как промежуточную
В смысле сделать put из edge, а потом обычным scp передать?
OI
Немного костыльно, да и диска на клиенте мало
ЕГ
ложки нет, Нео, добро пожаловать в крупные компании, копай вилкой😆
ЕГ
можно просто hdfs dfs -cp сделать из одного хдфс в другой, без дистцп, он сам будет качать аккуратненько через ту ноду, где запустили