Кстати, вопрос
Я вот в spark ui чота не очень вижу, где там план формируется.
Единственное очевидное, когда активных тасков нет, но всё “висит”, то либо листятся файлы либо строится план, либо всё вместе.
Правильно понимаю, что кроме чтения тред дампов того же драйвера особо вариантов и нет, чтобы понять, что именно план сейчас троится?