Size: a a a

2020 August 21

GP

Grigory Pomadchin in Data Engineers
Andrew Konstantinov
Всем привет !кто-нибудь сталикивался с такой ошибкой
An error occurred while calling o271.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure:
Aborting TaskSet 0.0 because task 0 (partition 0)
cannot run anywhere due to node and executor blacklist.
Most recent failure:
Lost task 0.1 in stage 0.0 (TID 1, z14-1779-node1.vesta.ru, executor 2): java.io.FileNotFoundException: File does not exist: hdfs://z14-1779-node1.vesta.ru:8020/data/data_hub/ilog/xxx/op_year=2020/op_month=7/op_day=17/part-00001-3a39ba60-4beb-4480-ae56-2bbd271efb2d.c000.snappy.orc
It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved.
.refresh table не помог, юзаем pyspark 2.4
еще код добавь чо делаешь; а то это может быть что угодно
источник

AS

Andrey Smirnov in Data Engineers
Grigory Pomadchin
еще код добавь чо делаешь; а то это может быть что угодно
в другом чате выяснили что файла нет, возможно и бакета тоже нет, пришла масленица и фить
источник

GP

Grigory Pomadchin in Data Engineers
ты пишешь и читаешь одномерно орки?
источник

GP

Grigory Pomadchin in Data Engineers
))
источник

AZ

Anton Zadorozhniy in Data Engineers
Andrey Smirnov
в другом чате выяснили что файла нет, возможно и бакета тоже нет, пришла масленица и фить
как прям теплый и ламповый референс
источник

AK

Andrew Konstantinov in Data Engineers
Grigory Pomadchin
ты пишешь и читаешь одномерно орки?
не,пишет спарк стиминг,потом поднимается repair в хайв.Если делать просто чтение напрямую из метастора-то все ок,в хайве если запрос-тоже ок,не ок когда hivecontext достаешь
источник

AK

Andrew Konstantinov in Data Engineers
причем определенные даты.Правда маленькая ремарка-был перезапуск кластера и возможно это могло что-то поломать
источник

E

El-Yaz in Data Engineers
товарищи джависты, возвращаюсь в джаву после 2-3 лет паузы, подскажите, пожалуйста, как вы пишете тесты на приватные методы? или у нас это не принято?)
или просто паблик сделать?
источник

E

El-Yaz in Data Engineers
El-Yaz
товарищи джависты, возвращаюсь в джаву после 2-3 лет паузы, подскажите, пожалуйста, как вы пишете тесты на приватные методы? или у нас это не принято?)
или просто паблик сделать?
не рефлексией же?
источник

GP

Grigory Pomadchin in Data Engineers
El-Yaz
товарищи джависты, возвращаюсь в джаву после 2-3 лет паузы, подскажите, пожалуйста, как вы пишете тесты на приватные методы? или у нас это не принято?)
или просто паблик сделать?
не тестируй или меняй модификатор
источник

GP

Grigory Pomadchin in Data Engineers
у жавистов есть еще @VisibleForTesting (гуава чтоли?)
источник

E

El-Yaz in Data Engineers
Grigory Pomadchin
не тестируй или меняй модификатор
справедливо)
спасибо)
источник

E

El-Yaz in Data Engineers
Grigory Pomadchin
у жавистов есть еще @VisibleForTesting (гуава чтоли?)
в 2020 гуаву юзают еще?
источник

GP

Grigory Pomadchin in Data Engineers
не знаю)
источник

GP

Grigory Pomadchin in Data Engineers
если у тебя скала то можешь private модифаеры вешать на пакет
источник

GP

Grigory Pomadchin in Data Engineers
тогда тест суешь в тотже пакет и он (метод) уже не прайвит
источник

E

El-Yaz in Data Engineers
Grigory Pomadchin
если у тебя скала то можешь private модифаеры вешать на пакет
не, пока еще джава, нужно пару месяцев после эры пайтона, а потом уже и на скаловские колеса прыгать
источник

GP

Grigory Pomadchin in Data Engineers
El-Yaz
в 2020 гуаву юзают еще?
юзают видимо) кассандровский драйвер настойчиво тащит ее с собой
источник

nn

nasdaq nice in Data Engineers
El-Yaz
товарищи джависты, возвращаюсь в джаву после 2-3 лет паузы, подскажите, пожалуйста, как вы пишете тесты на приватные методы? или у нас это не принято?)
или просто паблик сделать?
делай их protected и тесты в том же пакете
источник

E

El-Yaz in Data Engineers
nasdaq nice
делай их protected и тесты в том же пакете
о, дельно, спасибо)
источник