N
Там не в табличку пишется?
да нет, просто по пути
df.write.mode("append").partitionBy("opd_day").parquet(hdfsPath)
df.write.mode("append").partitionBy("opd_day").parquet(hdfsPath)
Size: a a a
2020 October 02
MB
или они могут быть в safe mode, пока не все дата ноды скинули им block reports
падала одна неймнода, а переключение почемуто не прошло.
Пытался руками, но меня обматерило
Пытался руками, но меня обматерило
N
по крайней мере, такой случай выглядит точно так же
в этот момент все таски уже саксидед?
AL
да нет, просто по пути
df.write.mode("append").partitionBy("opd_day").parquet(hdfsPath)
df.write.mode("append").partitionBy("opd_day").parquet(hdfsPath)
перемещает файлы из _temporary в конечную директорию?
AE
в этот момент все таски уже саксидед?
да. и выглядит как будто ничего не происходит
AL
в этом случае все таски будут завершены уже
АЖ
в этот момент все таски уже саксидед?
Да, может писать и проверять мету
AE
угу, так оно
АЖ
Возможно, там охрениллиард файлов
АЖ
Или хдфс нездоровится
N
Возможно, там охрениллиард файлов
да нет, штук 200, не больше
АЖ
Ну я в таких случаях ставлю дебаг и курю логи.
АЖ
Сеть, диски, айноды
AE
очень редко бывает что падает какой-нить тред с оом и такая же картина. в логах будет ошибка 134
AE
т.е. если екзекутор не успевает драйверу ничего отрепортить, и тот ждёт до бесконечности. поймать сложно.
SS
коллеги!!!
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
ПФ
коллеги!!!
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
А что говорят паркет-тулзы?
ПФ
Это точно паркет?
ПФ
Можешь попробовать открыть нашими big data tools
ME
коллеги!!!
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
как эту хреновину лечить?
Caused by: java.lang.RuntimeException: hdfs://hrenovina/data/bronze/shit/kafka_dt=2020-10-02/kafka_hh=13/part-00007-ffbb12cb-0cf2-4cc3-a202-d72febecb483.c000.snappy.parquet is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [117, 108, 108, 125]
У него и в конце сигнатура? Забавно