t
ну там ж executeCollect этажом выше
стоп, мы сейчас говорим про head?
если да, то там действительно есть executeCollect который в свою очередь дёрнет sc.runJob на указанных партициях
Size: a a a
2021 October 26
A
A
поэтому head и будет тригерить вычисления по всем партициям
t
не, смотри - isEmpty >>
внутри limit(1) - то что я писал выше и это трансформация, но в итоге он делает executeCollect и чейнит doExecute всех детей до момента создания RDD из источника
def isEmpty: Boolean = withAction("isEmpty", limit(1).groupBy().count().queryExecution) { plan =>
plan.executeCollect().head.getLong(0) == 0
}внутри limit(1) - то что я писал выше и это трансформация, но в итоге он делает executeCollect и чейнит doExecute всех детей до момента создания RDD из источника
A
A
t
а не, я не прав
A
вы правы
A
ваш код валиден для ветки 2.4
t
а, вы тут про 3 топите?
t
но на самом деле и для 2.4 я чот уже не уверен
A
в версии 3.0 уже поменяли
t
protected override def doExecute(): RDD[InternalRow] = child.execute().mapPartitions { iter =>
iter.take(limit)
}все партиции посчитает же
A
для 2.4 считает все партиции
для 3.0+ до первой непустой
для 3.0+ до первой непустой
t
аа
t
вон оно шо
A
ну поломали поведение, с кем не бывает
A
вот теперь понял откуда здесь лимит и групбай, а то в коде этого в упор не видел