AB
Можно конечно и самому многое освоить не кто не спорит просто уйдёт больше времени
Size: a a a
2019 November 19
AB
Тут как всегда вопрос времени/денег
AB
И то какие начальные знания, опыт, ожидания по зп
AB
Плюс опыт на скала, джава, питон
AE
По своему опыту трудоустройства, а он у меня большой и просмотров вакансий часто видел Интерес к биг дате, и курсы это подтверждают, что вы не просто языком чешите
о, смотрите, джоб хоппер
AB
о, смотрите, джоб хоппер
Да есть такой момент, без приколов, за меньше чем два года думаю о пятой работе
AE
AB
Зато Зп вырасло оч прилично и стек технологий
AE
чтобы нормально врубиться в бигдатый стек на развитом проекте, минимум полгода надо
AE
что можно успеть разобрать in depth за меньшее время я вообще не знаю
AB
Я не спорю
M
Нормально так набросил))
AB
Я имею ввиду весь опыт, начиная с джава веб
Ж
Кто то удачно копировал снэпшот hbase с HDP на EMR? Джоб отрабатывает, а снэпшота на EMRе нет. Emrfs sync делал... 🤔
Ж
sudo -u hbase hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-D fs.s3.awsAccessKeyId="..." \
-D fs.s3.awsSecretAccessKey="..." \
-D hbase.rootdir=s3://.../rootdir \
-snapshot emp_snapshot \
-copy-from hdfs://...:8020/apps/hbase/data \
-copy-to s3://.../rootdir \
-overwrite \
-mappers 32 \
-bandwidth 200
-D fs.s3.awsAccessKeyId="..." \
-D fs.s3.awsSecretAccessKey="..." \
-D hbase.rootdir=s3://.../rootdir \
-snapshot emp_snapshot \
-copy-from hdfs://...:8020/apps/hbase/data \
-copy-to s3://.../rootdir \
-overwrite \
-mappers 32 \
-bandwidth 200
Ik
Привет, ребята как ограничить разворот df.groupby('id').pivot('axisNum')
Допустим максимальное значение может быть axisNum = 64, а мне развернуть надо только до 8?
Допустим максимальное значение может быть axisNum = 64, а мне развернуть надо только до 8?
AS
Привет, ребята как ограничить разворот df.groupby('id').pivot('axisNum')
Допустим максимальное значение может быть axisNum = 64, а мне развернуть надо только до 8?
Допустим максимальное значение может быть axisNum = 64, а мне развернуть надо только до 8?
что значит axisNum? и что за разворот?
AS
имеете в виду чтоб взять значения из axisNum как колонки и ограничить количество колонок?
AS
можно перед пивотом тогда сделать filter(col("axisNum")<9)
Ik
имеете в виду чтоб взять значения из axisNum как колонки и ограничить количество колонок?
Да имею ввиду это