TC
получается, что ошибку сделал - просто бинарники в имидже качаю. значит надо из гита качать бинарники и компилировать их. Хорошо, тогда так буду делать
Size: a a a
2021 July 07
TC
Вот фрагмент как тащу лайви
ME
ну тогда вопрос скорее в том как он запускается дальше
ME
возможно просто classpath неправильно указан
TC
понял. буду править. спасибо за подсказку
N
Для начала конкретизируй, что значит «подключиться к hadoop». Что конкретно ты хочешь сделать - посмотреть файлы на hdfs, сделать файловер yarn resource managers, запустить приложение или что?
N
дату чего скачивать?
rG
Дата = данные) наверн
N
ну зайди на машину хадупа и напиши hdfs dfs -get
N
потом скачаешь локально по scp
GP
@pklemenkov а https://github.com/rapidsai/cudf arrow все еще юзает как формат сериализации?
PK
Хз, а почему нет?
GP
да просто интересно как они используют эроу
GP
чето там сложно если серфить по коду и поэтому спросил
2021 July 08
LS
Всем привет, есть кто использует great expectations, как оно по производительности?
e
ну вроде умеет spark
а дальше только вопрос техники
https://docs.greatexpectations.io/en/latest/guides/how_to_guides/configuring_datasources/how_to_configure_a_self_managed_spark_datasource.html
а дальше только вопрос техники
https://docs.greatexpectations.io/en/latest/guides/how_to_guides/configuring_datasources/how_to_configure_a_self_managed_spark_datasource.html
OI
Привет!
Подскажите, пожалуйста, есть ли vertica driver для спарк 3.0 и, соответственно, scala 2.12?
Подскажите, пожалуйста, есть ли vertica driver для спарк 3.0 и, соответственно, scala 2.12?
OI
а, во, нашёл
OI
или нет
почему-то на оф сайте для 3.0 предлагают драйвер от 2.4
почему-то на оф сайте для 3.0 предлагают драйвер от 2.4
OI
и мб я тупой, но чота не вижу, где этот джарник взять https://www.vertica.com/docs/10.1.x/HTML/Content/Authoring/SupportedPlatforms/SparkIntegration.htm