ЕГ
Это надо смотреть, как реализованы форматы данных, из которых читаешь
Size: a a a
2021 April 13
V
ORC или Parquet
ЕГ
По идее, в орке субколонки в плоской структуре лежат, так что оптимизация должна происходить, но я не уверен
AZ
Это хорновский дизъюнкт
V
спасибо
ЕГ
Если удастся провести тесты и рассказать-показать тут на практике, то будет прикольно)
V
Попробую
NN
От инструмента, которым читаешь, тоже зависит. Но вот насколько помню, у второго спарка и паркета лучше взаимодействие с глубокими вложенными структурами, а с орком есть оптимизация не дальше одного уровня вложенности. Но я могу путать, давно читал.
NN
И, если память не изменяет, третий спарк стал лучше работать со сложенными структурами орка.
ЕГ
Вроде в 2.3 много чего оптимизировали в чтении орка
NN
Ну там векторизация была самой клевой темой, после чего вообще появился смысл спарком орк процессить.
RY
всем привет. имеется csv размером 90Гб. у меня убунту. входящий в комплект архиватор уже 3 часа архивирует. до этого не смог. вот, вновь по 2му кругу запустил. вопрос: есть ли другой инструмент для более быстрой архивации больших файлов?
ЕГ
Можно спарком репартишен 1 и в сцв гзип записать
RY
ЕГ
Будет как раз один архив, в котором csv
ЕГ
90 гигов тяжеловато, правда
ЕГ
А сколько оперативы на тачке?
RY
ЕГ
Сложно сказать, отработает или нет
ЕГ
А зачем паковать 90гб в архив?