Size: a a a

2020 August 25

Ж

Жмака in Data Engineers
kryo.register(Utils.classForName("scala.collection.immutable.Map$EmptyMap$"))
источник

Ж

Жмака in Data Engineers
Вот это пропустил в коде kryo
источник
2020 August 26

AP

Abi Palagashvili in Data Engineers
господа, а при работе с pyspark в юпитер ноутбуке есть ли возможность подгружать зависимости в рантайме?
источник

AP

Abi Palagashvili in Data Engineers
ну то есть сначала, при запуске пайспарк я прокинул некоторые зависимости через —archives
источник

AP

Abi Palagashvili in Data Engineers
а потом понял, работая в ноутбуке, что мне ещё одна зависимость нужна
источник

AP

Abi Palagashvili in Data Engineers
я могу доставить её до всех нод в кластере?
источник

SE

Stanislav Evstratov in Data Engineers
Ребят , всем привет!

Подскажите пожалуйста , кто-нибудь строил связку HDFS <—> Elasticsearch, если да , то как?
источник

SB

Sergey Boytsov in Data Engineers
Привет, а кто-нибудь уже пробовал заиспользовать AWS Glue версии 2.0 которую анонсировали буквально пару недель назад?
источник

NG

Nikolay Gradsky in Data Engineers
Всем привет! Подскажите пожалуйста: как сделать так, что бы oozie перезапускал sparkSteam и переходил к следующему шагу не ожидая  завершения? В данный момент у меня перезапускается стрим и висит ожидая статуса выполнения
источник

PA

Polina Azarova in Data Engineers
приветы! кто-нибудь пихал в кубер хадупц?
зачем люди это делают? 🙂
источник

O

Oleg in Data Engineers
В кубер хадуп? А кубер в клауде поднять,  как сервис))
источник

A

Alex in Data Engineers
многие задаются этим вопросом
источник

A

Alex in Data Engineers
пока явных ответов не было получено
источник

AS

Andrey Smirnov in Data Engineers
Polina Azarova
приветы! кто-нибудь пихал в кубер хадупц?
зачем люди это делают? 🙂
1. да
2. ответов кроме модно-молодежно не помню
источник

PA

Polina Azarova in Data Engineers
прям с HDFS? хадуп в кубере не создавал дополнительных проблем?)
источник

A

Alex in Data Engineers
а зачем вам без hdfs в кубер?
источник

A

Alex in Data Engineers
yarn неплохо самим кубером заменяется как планировщик
источник

A

Alex in Data Engineers
а вот hdfs обычно и запихивают
источник

PA

Polina Azarova in Data Engineers
ну может кто-то s3 любит
источник

PA

Polina Azarova in Data Engineers
Alex
yarn неплохо самим кубером заменяется как планировщик
не заменять, а разворачивать в кубере докеры с ярном)
источник