I
Я быстро ничего найти не смог по этому пришел в этот чатик. Там все про foreachRDD но в foreachRDD я и сам догадаюсь try catch поставить.
Size: a a a
2021 April 19
I
В любом случае спасибо, всем!
N
Буквально на прошлой неделе на JPoint его обшлачивали яростно.
GP
ну там есть проблемы
N
А че, теперь это в моде, все уже реактивно бомбят?
TZ
Добрый день!
У меня есть несколько вопросов по cuda/opengl/opencl и их привязкам к java в контексте вычислительной геометрии, и мне посоветовали спросить здесь. Это будет по теме канала или мне стоит обратиться куда-то ещё?
У меня есть несколько вопросов по cuda/opengl/opencl и их привязкам к java в контексте вычислительной геометрии, и мне посоветовали спросить здесь. Это будет по теме канала или мне стоит обратиться куда-то ещё?
AZ
лучше в ODS
TZ
а что такое ODS?
TZ
Спасибо!
2021 April 20
SS
дяденьки, здравствуйте!
подскажите - кто-то использует Looker поверх Hive/Spark?
как решаете проблему получения схемы таблицы с "лишними" столбцами?
насколько я понимаю, Looker для определения схемы таблицы использует
DESCRIBE default.SEXY_TABLE
а для Hive/Spark там возвращается много лишнего, в частности пустые строки, которые превращаются в пустой dummy-столбец для Looker'а
подскажите - кто-то использует Looker поверх Hive/Spark?
как решаете проблему получения схемы таблицы с "лишними" столбцами?
насколько я понимаю, Looker для определения схемы таблицы использует
DESCRIBE default.SEXY_TABLE
а для Hive/Spark там возвращается много лишнего, в частности пустые строки, которые превращаются в пустой dummy-столбец для Looker'а
AM
А что если как воркароунд сделать вьюшку поверх hive таблицы?
АА
всем привет! пытаюсь через spark подключится к clickhouse, потом делаю выборку из БД и хочу посмотреть датасет
```
```
ошибку получаю
может кто-то сталкивался ?
```
val ch_connect = spark.read.format("jdbc")
.option("url", "jdbc:clickhouse://localhost:8123")
.option("driver", "ru.yandex.clickhouse.ClickHouseDriver")
.option("dbtable", "blogger_subscribers")
.option("user", "default")
.option("password", "")
.load()
spark.sqlContext.sql("SELECT * FROM default.blogger_subscribers").show()```
ошибку получаю
Table or view not found: `default`.`blogger_subscribers`; line 1 pos 14;
может кто-то сталкивался ?
NN
Если я все правильно понял, то ch_connect - это и есть Ваша табличка в виде датафрейма, который просто нужно инициализировать. С ним и работайте. А то, что Вы дальше делаете - это попытка селектнуть таблицу из дефолтного warehouse. Естественно, там нет такой таблицы.
NB
CreateOrReplaceTempView для sql
I
@scooby18 Тебе надо создать вьюху
ch_connect.createOrReplaceTempView("blogger_subscribers")
%sql
select * from blogger_subscribersАА
ну я пока локально разрабатываю поэтому интерпритатор цеппелина не использую
АА
вот я не совсем понимаю зачем ему вью создавать
NB
https://stackoverflow.com/questions/44011846/how-does-createorreplacetempview-work-in-spark вот тут объяснено на базовом уровне, но excellent name уже указал специфику
AE
вопрос к любителям облаков.
есть какой-нить вменяемый способ обращаться из кластера на EMR к S3 за пределами амазона?
есть какой-нить вменяемый способ обращаться из кластера на EMR к S3 за пределами амазона?