Ik
можно перед пивотом тогда сделать filter(col("axisNum")<9)
Спасибо, попробую)
+---+----------+------------------+---------+--------------+--------------+-----------------+
| id| timestamp|previous_timestamp|time_diff|is_new_session|session_number|session_time_diff|
+---+----------+------------------+---------+--------------+--------------+-----------------+
| 1|1573820575| null| 0| 0| 0| 0|
| 2|1573820580| 1573820575| 5| 0| 0| 5|
| 3|1573820600| 1573820580| 20| 0| 0| 20|
| 4|1573820603| 1573820600| 3| 0| 0| 3|
| 5|1573820703| 1573820603| 100| 1| 1| 0|
| 6|1573820713| 1573820703| 10| 0| 1| 10|
+---+----------+------------------+---------+--------------+--------------+-----------------+
