M
а как , ну diff_prev_ts и предпологается им вычислить
ts - lag(ts) OVER (PARTITION BY id ORDER BY ts)? только на spark dsl переписатьSize: a a a
2019 November 15
ME
Нужны ID начала сессии?
ME
а, секунды посчитать
OP
ts - lag(ts) OVER (PARTITION BY id ORDER BY ts)? только на spark dsl переписатьну сам то diff_prev_ts ясно то, про другое вопрос)
OP
Нужны ID начала сессии?
ну желательно начало и конец в ts , и их id, ну эт уже второстепенное
M
Так а в чём проблема тогда посчитать дополнительно ещё длину каждой сессии рядом
M
может я не совсем понимаю задание, но пока ничего сложного не вижу
Y
оконная функция тут не поможет?
поможет.
накапливай в другом столбце сумму с предыдущим (lag) и обнуляй если больше лимита
накапливай в другом столбце сумму с предыдущим (lag) и обнуляй если больше лимита
OP
Yestay
поможет.
накапливай в другом столбце сумму с предыдущим (lag) и обнуляй если больше лимита
накапливай в другом столбце сумму с предыдущим (lag) и обнуляй если больше лимита
кастомными udwf ?
ME
Там надо сделать отдельную колонку с 1 или 0. 1- начало новой сессии. Потом на базе неё сделаиь сумму. Тогда у сессии будет одна цифирка. А дальше можно груп бай по этой сумме и в ней сумму дифов
OP
И как на базе этого сессию/сумму выделить
--------------------------------
-|ts|id|diff_prev_ts|status
--------------------------------
1|..|1..| 10 sec |0
2|..|1..| 20 sec |0
3|..|1..| 10 sec |0
4|..|1..| 20 sec |1
5|..|1..| 180 sec |0
6|..|1..| 10 sec |0
--------------------------------
--------------------------------
-|ts|id|diff_prev_ts|status
--------------------------------
1|..|1..| 10 sec |0
2|..|1..| 20 sec |0
3|..|1..| 10 sec |0
4|..|1..| 20 sec |1
5|..|1..| 180 sec |0
6|..|1..| 10 sec |0
--------------------------------
Y
кастомными udwf ?
не обязательно, можно все прописать в параметрах withColumn
OP
Теп с кастомной udf можно к такому привести, а засчет еще одной оконной и фильтра оставить только те где след строка с 0 ?
--------------------------------
-|ts|id|diff_prev_ts|sum_prevs_ts
--------------------------------
1|..|1..| 10 sec |10
2|..|1..| 20 sec |30
3|..|1..| 10 sec |40
4|..|1..| 20 sec |50
5|..|1..| 180 sec |0
6|..|1..| 10 sec |10
--------------------------------
--------------------------------
-|ts|id|diff_prev_ts|sum_prevs_ts
--------------------------------
1|..|1..| 10 sec |10
2|..|1..| 20 sec |30
3|..|1..| 10 sec |40
4|..|1..| 20 sec |50
5|..|1..| 180 sec |0
6|..|1..| 10 sec |10
--------------------------------
Y
Теп с кастомной udf можно к такому привести, а засчет еще одной оконной и фильтра оставить только те где след строка с 0 ?
--------------------------------
-|ts|id|diff_prev_ts|sum_prevs_ts
--------------------------------
1|..|1..| 10 sec |10
2|..|1..| 20 sec |30
3|..|1..| 10 sec |40
4|..|1..| 20 sec |50
5|..|1..| 180 sec |0
6|..|1..| 10 sec |10
--------------------------------
--------------------------------
-|ts|id|diff_prev_ts|sum_prevs_ts
--------------------------------
1|..|1..| 10 sec |10
2|..|1..| 20 sec |30
3|..|1..| 10 sec |40
4|..|1..| 20 sec |50
5|..|1..| 180 sec |0
6|..|1..| 10 sec |10
--------------------------------
я щас проверить не могу, но что то типа такого попробуй
.withColumn('Session Number',
F.sum(
F.when(
sum_prevs_ts==0,
F.lit(1))
.otherwise(F.lit(0)))
.groupBy('Session Number')
.withColumn('Session Number',
F.sum(
F.when(
sum_prevs_ts==0,
F.lit(1))
.otherwise(F.lit(0)))
.groupBy('Session Number')
Ik
Привет
Ik
Такая проблема при создании датафрейма, создаю id с помощью UUID.randomUUID.toString . Но при дальнейшей работе с этим датафреймом, например селект, джоин и т д, спарк несколько раз вызывает этот метод
Ik
И получается так, что при работе с одним дата фреймом, при селекте делается другой id
Ik
Хотя переменная val
Ik
Кто нибудь сталкивался с такой проблемой? Это явно связано с lazy природой rdd
M
покажите код создания