AS
если не поддерживается, то сделать через OR или UNION
тут скорее AND
Size: a a a
2020 July 22
А
тут скорее AND
имел в виду OR так:
(t._partition_key = '2020-01-01' AND t._subpartition_key = 'RU') OR (t._partition_key = '2020-01-02' AND t._subpartition_key = 'EN')
SS
коллеги! как-то можно в SparkSQL сделать такое?
select *
from silver_table t
where (t._partition_key, t._subpartition_key) IN ( ('2020-01-01', 'RU'), ('2020-01-02', 'EN') )
select *
from silver_table t
where (t._partition_key, t._subpartition_key) IN ( ('2020-01-01', 'RU'), ('2020-01-02', 'EN') )
получилось так:
select *
from silver_table t
where (t._partition_key, t._subpartition_key) IN ( struct('2020-01-01' as _partition_key, 'RU' as _subpartition_key), struct('2020-01-02' as _partition_key, 'EN' as _subpartition_key) )
select *
from silver_table t
where (t._partition_key, t._subpartition_key) IN ( struct('2020-01-01' as _partition_key, 'RU' as _subpartition_key), struct('2020-01-02' as _partition_key, 'EN' as _subpartition_key) )
А
partition pruning срабатывает?
SS
partition pruning срабатывает?
да
А
отлично тогда, возьму на заметку
SS
но у меня spark 3.0.0
я проверил с включенным и выключенным параметром "spark.sql.optimizer.dynamicPartitionPruning.enabled" - в обоих случаях прунинг сработал корректно.
наверное и в spark 2 будет работать
я проверил с включенным и выключенным параметром "spark.sql.optimizer.dynamicPartitionPruning.enabled" - в обоих случаях прунинг сработал корректно.
наверное и в spark 2 будет работать
EV
Всем привет!
Подскажите плиз куда копать или какие параметры потюнить попробовать:
На EMR ловлю 503 Slow Down от S3 (судя по стеку это происходит в момент чтения данных) Из-за этого часть тасков валится и после рестарта не может записать файл в целевую директорию в S3 так как файл уже существует, отчего весь джоб падает.
Исходно все расчеты это Spark SQL через Spark Thrift server. EMR 5.29, EMRFS on.
Подскажите плиз куда копать или какие параметры потюнить попробовать:
На EMR ловлю 503 Slow Down от S3 (судя по стеку это происходит в момент чтения данных) Из-за этого часть тасков валится и после рестарта не может записать файл в целевую директорию в S3 так как файл уже существует, отчего весь джоб падает.
Исходно все расчеты это Spark SQL через Spark Thrift server. EMR 5.29, EMRFS on.
ME
Всем привет!
Подскажите плиз куда копать или какие параметры потюнить попробовать:
На EMR ловлю 503 Slow Down от S3 (судя по стеку это происходит в момент чтения данных) Из-за этого часть тасков валится и после рестарта не может записать файл в целевую директорию в S3 так как файл уже существует, отчего весь джоб падает.
Исходно все расчеты это Spark SQL через Spark Thrift server. EMR 5.29, EMRFS on.
Подскажите плиз куда копать или какие параметры потюнить попробовать:
На EMR ловлю 503 Slow Down от S3 (судя по стеку это происходит в момент чтения данных) Из-за этого часть тасков валится и после рестарта не может записать файл в целевую директорию в S3 так как файл уже существует, отчего весь джоб падает.
Исходно все расчеты это Spark SQL через Spark Thrift server. EMR 5.29, EMRFS on.
Ну тут надо писать в техническую поддержку и только ретраи крутить:)
ME
Много мелких файликов?
EV
Много больших файлов я б сказал :)
EV
если кластер маленький - работает
EV
если заскейлить до обычного рамера начинает ругаться
ME
There are three ways to resolve this problem:
Add more prefixes to the S3 bucket.
Reduce the number of Amazon S3 requests.
Increase the EMR File System (EMRFS) retry limit.
ME
если кластер маленький - работает
ну скорее всего экзекьютеров мало и число rps небольшое
ME
а когда скейлите — упираетесь
EV
тут ретрай лимит не работает
EV
потому что он не делает перезапись того что таск уже понаписал в s3 до падения
EV
(это я так корневую проблему понимаю)