GP
Size: a a a
2020 September 17
DZ
ну тоесть когда я в csv впревые обнаружил лишние поля после .as[MyClass] я был в не доумении
DZ
офк я в df не кастил
GP
ну тоесть когда я в csv впревые обнаружил лишние поля после .as[MyClass] я был в не доумении
а понял
GP
я как-то не так читал
DZ
мне кажется это потому что тупо as ничего не делает, и если дальше тупо экшн, зачем делать проекцию
SS
коллеги, подскажите как можно сравнить 2 датафрейма?
GP
коллеги, подскажите как можно сравнить 2 датафрейма?
except?
SS
есть некая функция
MySexySparkApp.transform(inDF: DataFrame): DataFrame
возвращает датафрейм с сотней-другой столбцов.
я в тесте пишу ожидаемый датафрейм и сравниваю полученный из тестируемое функции transform с помощью метода из spark-fast-tests
https://github.com/MrPowers/spark-fast-tests/blob/master/src/main/scala/com/github/mrpowers/spark/fast/tests/DatasetComparer.scala#L78
MySexySparkApp.transform(inDF: DataFrame): DataFrame
возвращает датафрейм с сотней-другой столбцов.
я в тесте пишу ожидаемый датафрейм и сравниваю полученный из тестируемое функции transform с помощью метода из spark-fast-tests
https://github.com/MrPowers/spark-fast-tests/blob/master/src/main/scala/com/github/mrpowers/spark/fast/tests/DatasetComparer.scala#L78
GP
except?
типа посмотреть что в результате будет
AE
вычесть один из другого и посмотреть разницу?
GP
вычесть один из другого и посмотреть разницу?
+; ага
SS
но меня напрягает писать ожидаемый датафрейм с сотней столбцов, хочу что-то вроде
assertDFInside
assertDFInside
A
Пожалуйста, будьте с as очень аккуратным
У нас было пару раз был датафрей тяжёлый, парни делают as на класс с пару полями и ожидают что он будет дальше легкий
Шафлят и во многих местах в джойне используют
И получается что все 50+ полей следом таскают, только они невидимы
При простой правке вместо 100гб шафла, стало меньше гига
У нас было пару раз был датафрей тяжёлый, парни делают as на класс с пару полями и ожидают что он будет дальше легкий
Шафлят и во многих местах в джойне используют
И получается что все 50+ полей следом таскают, только они невидимы
При простой правке вместо 100гб шафла, стало меньше гига
A
as это лишь проекция, но не отменяет что весь датафрей будет дальше гнаться
SS
Пожалуйста, будьте с as очень аккуратным
У нас было пару раз был датафрей тяжёлый, парни делают as на класс с пару полями и ожидают что он будет дальше легкий
Шафлят и во многих местах в джойне используют
И получается что все 50+ полей следом таскают, только они невидимы
При простой правке вместо 100гб шафла, стало меньше гига
У нас было пару раз был датафрей тяжёлый, парни делают as на класс с пару полями и ожидают что он будет дальше легкий
Шафлят и во многих местах в джойне используют
И получается что все 50+ полей следом таскают, только они невидимы
При простой правке вместо 100гб шафла, стало меньше гига
а почему они невидимы? почему они не отбрасываются при преобразовании DF - DS - DF ?
DZ
as это лишь проекция, но не отменяет что весь датафрей будет дальше гнаться
Селект тоже проекция
DZ
Яснее не стало