N
ты про ораклбигдата ?
12с это версия Oracle DB.
Size: a a a
2019 November 20
СХ
12с это версия Oracle DB.
у меня был оракл 12с, но колоночным бил оракл бигдата
СХ
12с релиз2 чтот там
N
N
Я так понимаю, про это речь.
РА
ME
больше чем 2 сессии не посчитает по условию )
.withColumn("session_number", lag(col("is_new_session"), default=0).over(previous_window) + col("is_new_session"))м? Не понял про 2 сессии
ME
1 и 0 это просто признак, дальше идёт нарастающая сумма в другой колонке
ME
ой, там опечатка моя, кажись
РА
ты про ораклбигдата ?
с этим то как раз все понятно, там обычный CDH стоит
ME
больше чем 2 сессии не посчитает по условию )
.withColumn("session_number", lag(col("is_new_session"), default=0).over(previous_window) + col("is_new_session"))а, да, косяк. над подумать, как исправить
VE
Всем привет, а насколько часто встречаются ситуации когда после ingesting до landing zone у компании не предусмотрено создание hive/glue метаданных?
И если метаданных нет, то я так понимаю дальнейший ETL (spark?) читает данные прямо с хранилища и уже сует их в следующую зону с hive таблицами?
И если метаданных нет, то я так понимаю дальнейший ETL (spark?) читает данные прямо с хранилища и уже сует их в следующую зону с hive таблицами?
VE
Ну и в целом, какие существуют best practices для landing zone, касаемо метаданных, много кто с этим заморачивается?
L
Привет всем, можете посоветовать статьи или что-то где можно было бы разобраться s3 и спарком, как они взаимодействуют, как Hadoop и с3...
Как идёт вычитка и запись в файл
Как идёт вычитка и запись в файл
T
Привет всем, можете посоветовать статьи или что-то где можно было бы разобраться s3 и спарком, как они взаимодействуют, как Hadoop и с3...
Как идёт вычитка и запись в файл
Как идёт вычитка и запись в файл
на сколько глубоко хотите разобраться?
L
Так чтобы потом можно было работать с этим )
T
Так чтобы потом можно было работать с этим )
ну работать можно и без знаний load(“s3://blah/blah/mybigdata.parquet”)
L
Надо немного глубже)
AZ
Всем привет, а насколько часто встречаются ситуации когда после ingesting до landing zone у компании не предусмотрено создание hive/glue метаданных?
И если метаданных нет, то я так понимаю дальнейший ETL (spark?) читает данные прямо с хранилища и уже сует их в следующую зону с hive таблицами?
И если метаданных нет, то я так понимаю дальнейший ETL (spark?) читает данные прямо с хранилища и уже сует их в следующую зону с hive таблицами?
Такое бывает иногда (чтобы от хайва не зависеть, удобно), но метаданные описывающие эти датасеты все равно есть, могут быть в конфигах Кафка коннекта, или в планировщике
AZ
Надо немного глубже)
Вы конкретный вопрос попробуйте задать