DZ
а почему они невидимы? почему они не отбрасываются при преобразовании DF - DS - DF ?
Затащи кароч мой код, и забей
Size: a a a
2020 September 17
SS
а разве df.select() это не та же проекция?
A
Селект тоже проекция
В селекте проекция какие поля дальше пускать
As проекция на уровне компилятора для удобства типов, оптимизатор ничего под это не делает
As проекция на уровне компилятора для удобства типов, оптимизатор ничего под это не делает
SS
Затащи кароч мой код, и забей
затащил, работает! грасиас, сеньор )
A
По этому и говорю чтобы с as были аккуратней
SS
похоже, что без погружения в кишки JVM дата-помидоркой не стать?
A
Нет, это нюансы спарка, не jvm
SS
По этому и говорю чтобы с as были аккуратней
спасибо, учтем и запомним!
A
Может в третьем что-то и поменяли, не смотрел, но на втором там явно это было написано
A
спасибо, учтем и запомним!
Простейший пример:
Паркет файл
Прочитали
1. Сделали селект и дальше по пайплайну пойдут только поля которые выбрали, другие читаться не будут даже
2. Сделали as и считаете что только те поля. Но на самом деле таскаете весь паркет файл, никакой фильтрации ненужных колонок не произойдёт
Паркет файл
Прочитали
1. Сделали селект и дальше по пайплайну пойдут только поля которые выбрали, другие читаться не будут даже
2. Сделали as и считаете что только те поля. Но на самом деле таскаете весь паркет файл, никакой фильтрации ненужных колонок не произойдёт
DZ
В селекте проекция какие поля дальше пускать
As проекция на уровне компилятора для удобства типов, оптимизатор ничего под это не делает
As проекция на уровне компилятора для удобства типов, оптимизатор ничего под это не делает
Ну не знаю. У датасета и фрейма разные оптимизации по памяти
AE
то бишь as это просто приведение типа, а underlying object не меняется
DZ
Может в третьем что-то и поменяли, не смотрел, но на втором там явно это было написано
Где написано то?
A
* Note that
* such as
* the specified class.
as[] only changes the view of the data that is passed into typed operations,* such as
map(), and does not eagerly project away any columns that are not present in* the specified class.
DZ
Окай
DN
некоторым работодатель оплачивает, некоторым нужен волшебный пинок и тд, а кому то норм и по книгам заниматься, за ньюпролаб знаю что там оч толковые преподы
в отусе уже 2 курс прохожу, крайне недоволен на самом деле
DN
некоторым работодатель оплачивает, некоторым нужен волшебный пинок и тд, а кому то норм и по книгам заниматься, за ньюпролаб знаю что там оч толковые преподы
ну мне сертифкат нужен
AB
в отусе уже 2 курс прохожу, крайне недоволен на самом деле
а что не нравиться?
DN
а что не нравиться?
слабые и скучные домашки