А
благодарю
Size: a a a
2020 September 29
DZ
Алеся
благодарю
Вилка, маст
А
Вилка, маст
Укажем! В чатик бы теперь тот попасть, где оформленные вакансии можно постить) админу написала
DZ
Алеся
Укажем! В чатик бы теперь тот попасть, где оформленные вакансии можно постить) админу написала
В чем проблема?
DZ
Заходишь, join, боту отвечаешь
DZ
@krivdathetriewe сделай меня админом тож
А
Заходишь, join, боту отвечаешь
Там на сколько поняла, только через админа
SD
Всем привет. Коллеги, столкнулся с такой проблемой:
1) spark-shell --master yarn --files hdfs:///path/properties.conf
2) spark.read.text(SparkFiles.get("properties.conf")).show
AnalysisException: Path does not exist
Подскажите, пжл, что не так?
В spark-submit проблема аналогичная.
1) spark-shell --master yarn --files hdfs:///path/properties.conf
2) spark.read.text(SparkFiles.get("properties.conf")).show
AnalysisException: Path does not exist
Подскажите, пжл, что не так?
В spark-submit проблема аналогичная.
T
Алеся
Там на сколько поняла, только через админа
мы вам перезвоним
T
Простите не удержался =(
N
Граждане, когда один паркет-путь на ура читается, а второй повисает насмерть, где искать проблемы? В HDFS ?
M
Граждане, когда один паркет-путь на ура читается, а второй повисает насмерть, где искать проблемы? В HDFS ?
пути к файлам?
M
какая разница в размерах/структуре
АЖ
Граждане, когда один паркет-путь на ура читается, а второй повисает насмерть, где искать проблемы? В HDFS ?
А если дебаг врубить?
N
пути к файлам?
пути разные. размеры/структура идентичная.
AS
пути разные. размеры/структура идентичная.
посмотри на каких нодах лежат данные, может что с ними не так.
Как читаешь, может даталокалити влияет?
Как читаешь, может даталокалити влияет?
N
посмотри на каких нодах лежат данные, может что с ними не так.
Как читаешь, может даталокалити влияет?
Как читаешь, может даталокалити влияет?
да по-дедовски, spark.read.parquet(«path»).filter(dt=param1)
AS
укажи схему при чтении, не поможет?
N
да хз че поможет, пробую разные варианты. может, канеш, пранинг отъехал.