на счет Impala и spill to disk, добрался до админки - вроде все включено, вижу что у здоровых запросов счетчики spill более нуля. значит работает. но все равно регулярно получаем вылеты по памяти. из недавнего селект * без джоина на  табличку в 40мб отожрал 20гб и вылител по лимиту. единственно там статистики не было совсем, сбор статистики выправил ситуацию.
может после каждой загрузки стоит тотально на все собирать статистики ?

у нас к примеру этому делу посвящены большие куски курсов и документации (при том что на лету оптимизатор сэмплирует очень хорошо), однозначного ответа нет и все зависит от ваших данных, запросов, размеров и загруженности системы

в хайве статистика по таблице собирается во время вставки

мин/макс колонки еще берется из заголовков файлов

у вас - это в террадате?

разве? https://issues.apache.org/jira/browse/HIVE-11160