GP
spark-submit
Size: a a a
2021 April 29
GP
ну или шелл на мастере открой) какой-то ж доступ ьы имеешь к нему
t
/**
* Request executors from the cluster manager by specifying the total number desired,
* including existing pending and running executors.
*
* The semantics here guarantee that we do not over-allocate executors for this application,
* since a later request overrides the value of any prior request. The alternative interface
* of requesting a delta of executors risks double counting new executors when there are
* insufficient resources to satisfy the first request. We make the assumption here that the
* cluster manager will eventually fulfill all requests when resources free up.
*
* @return a future whose evaluation indicates whether the request is acknowledged.
*/
protected def @return @return a future whose evaluation indicates whether the request is acknowledged.
*/
protected def
* Request executors from the cluster manager by specifying the total number desired,
* including existing pending and running executors.
*
* The semantics here guarantee that we do not over-allocate executors for this application,
* since a later request overrides the value of any prior request. The alternative interface
* of requesting a delta of executors risks double counting new executors when there are
* insufficient resources to satisfy the first request. We make the assumption here that the
* cluster manager will eventually fulfill all requests when resources free up.
*
* @return a future whose evaluation indicates whether the request is acknowledged.
*/
protected def @return @return a future whose evaluation indicates whether the request is acknowledged.
*/
protected def
doRequestTotalExecutors(requestedTotal: Int): Future[Boolean] =
Future.successful(false)t
это прекрасно
GP
там наверное еще более прекарсные реализации
t
t
я удивлен, что оно не final
GP
буду смеяться над телом {
reallyRequestMyExecutors() // блокирующая
Future.successful(true)
}
reallyRequestMyExecutors() // блокирующая
Future.successful(true)
}
GP
t
GP
отлично
t
технологии работают, зачем придумывать что то новое
GP
слушай но похоже ты прав да
вот эта настрйок меняет колво ехекуторов
вот эта настрйок меняет колво ехекуторов
GP
и потом скедулер похоже идет в конфиг читает (а может не идет и не читает) и алоцирует штуки
GP
интересно что заставляет его триггернутса и проверить конфиги
GP
как оно работает на включенной динамик аллокации вообще?
GP
он другие функции вызывает? или както форсит новые ехекуторы
t
эти же, судя по коду - в части про динамическую аллокацию есть ссылки на этот ExecutorAllocationClient
t
вот тут:
package
**
* An agent that dynamically allocates and removes executors based on the workload.
private
package
org.apache.spark**
* An agent that dynamically allocates and removes executors based on the workload.
private
[spark] class ExecutorAllocationManager(
client: ExecutorAllocationClient,
listenerBus: LiveListenerBus,
conf: SparkConf,
blockManagerMaster: BlockManagerMaster)
extends Logging {t