Size: a a a

2020 August 18

AS

Andrey Smirnov in Data Engineers
Жмака
Я смотрел на scalatest и мне малое количество ассертов не понравилось. Но перейду на скаловские тесты. А мок тоже стоит скалы брать?
да, имплисит называется :)
источник

AS

Andrey Smirnov in Data Engineers
а если серьезно, то mockito нас устраивал
источник

Ж

Жмака in Data Engineers
Andrey Smirnov
а если серьезно, то mockito нас устраивал
Спасибо
источник

GP

Grigory Pomadchin in Data Engineers
Жмака
Я смотрел на scalatest и мне малое количество ассертов не понравилось. Но перейду на скаловские тесты. А мок тоже стоит скалы брать?
моки вообще не стоит делать мокитой / скала мокитой
источник

Ж

Жмака in Data Engineers
Почему?
источник

GP

Grigory Pomadchin in Data Engineers
ну оно в общем случае плохо работает со скалой; не умеет(ло) оно (или плохо умеет(ло)) работать с имплиситами
источник

GP

Grigory Pomadchin in Data Engineers
и падает с этим в рантайме - потом будешь тут спрашивать, почему замоканая функция наллы возвращает
источник

Ж

Жмака in Data Engineers
Grigory Pomadchin
и падает с этим в рантайме - потом будешь тут спрашивать, почему замоканая функция наллы возвращает
Теперь не буду🙂
источник

AS

Andrey Smirnov in Data Engineers
Grigory Pomadchin
ну оно в общем случае плохо работает со скалой; не умеет(ло) оно (или плохо умеет(ло)) работать с имплиситами
Ну так надо выбрать, или имплисит или мокито
источник

GP

Grigory Pomadchin in Data Engineers
Andrey Smirnov
Ну так надо выбрать, или имплисит или мокито
не очень понимаю причем тут выбор) я так понимаю ты предлагаешь писать не (квази высоко) абстрактный код?)
источник

AS

Andrey Smirnov in Data Engineers
Нет, если у тебя имплисит, тогда и в тестах имплисит, если просто трейт, то москито
источник

IK

Irina Kamalova in Data Engineers
Grigory Pomadchin
ну оно в общем случае плохо работает со скалой; не умеет(ло) оно (или плохо умеет(ло)) работать с имплиситами
я как-то провозилась долго с тем, что из скала создается два метода компилятором и мок метода падал с ошибкой😝 т.е. если уж моки методов в скала тестов, то скала моки чем обычные)
источник

IK

Irina Kamalova in Data Engineers
Жмака
Я смотрел на scalatest и мне малое количество ассертов не понравилось. Но перейду на скаловские тесты. А мок тоже стоит скалы брать?
надо делать with Matchers
и тебе should be / should have все что угодно позволят заассертить
источник

IK

Irina Kamalova in Data Engineers
пример
result should have size initList.size
источник

ПБ

Повелитель Бури... in Data Engineers
Привет! через livy запускаю такой код, который через spark-shell работает без проблем  
val df_07 = spark.sql("SELECT * from t")  
df_07.groupBy("d").agg(count("*").as("cnt"))

в livy выдает ошибку org.apache.spark.sql.AnalysisException: Table or view not found: t;

как я понял, проблема связана или с доступом к hive или contex , кто сталкивался, куда копать?
источник

O

Oleg in Data Engineers
В чем преимущества спарк гонять на кубе, а не на ярне?
источник

O

Oleg in Data Engineers
Кроме того что хадуп не надо поднимать, если хдфс не нужен
источник

GP

Grigory Pomadchin in Data Engineers
Oleg
Кроме того что хадуп не надо поднимать, если хдфс не нужен
хдфс можно и так и так не поднимать
источник

O

Oleg in Data Engineers
можно много чего, в чем преимущества то?
источник

ZM

ZLoyer Matveev in Data Engineers
Еще год назад ярн можно было смело назвать самым убогим менеджером ресурсов среди аналогов. Более тупой и медленный. Не столь важно кубер ли, но лучше не ярн.
источник