K
Я могу показать код примерный вечером
Size: a a a
2020 August 31
GT
Жмака
Да
И все нужны?
Ж
в афине ctas создать таблицу с форматом паркет/орк и фиксированным локейшеном. Получится меньше файлов намного и только то, что вам нужно. И потом из этого локейшена вычитать спарком. Афина, скорее всего, намного быстрее прочитает эти файлы и создаст то, что вам нужно.
Это дорого читать через нее. Надо же вроде jdbc driver
R
Ещё нужно посмотреть не упираетесь ли вы в сеть emr. Там не то чтобы большой канал.
Ж
И все нужны?
Последние 9 дней
ПФ
Он будет последовательным
Согласен, можно сделать на параллельных стримах если без зио
Ж
Я могу показать код примерный вечером
Буду рад
GT
Жмака
Последние 9 дней
Создайте таблицу в глю поверх этих файлов
K
Согласен, можно сделать на параллельных стримах если без зио
Можно на фьючах сделать
K
Не нужны стримы
Ж
Сделай построение плана параллельное
Как?
K
Сделай построение плана параллельное
Spark.read будет последовательным
R
Жмака
Это дорого читать через нее. Надо же вроде jdbc driver
Не, через афину создаёте готовый датасет(вы же не все данные читаете, что - то фильтруете), сохранить его в s3. И из s3 вычиать спарком.
Ж
Создайте таблицу в глю поверх этих файлов
А в чем плюс?
GT
Жмака
А в чем плюс?
Будете читать spark.table как хотели, фильтруя по нужным партициям
ПФ
Можно на фьючах сделать
Тоже вариант, да
Ж
Не, через афину создаёте готовый датасет(вы же не все данные читаете, что - то фильтруете), сохранить его в s3. И из s3 вычиать спарком.
Это снова деньги за нее платить. Не согласятся
GT
В зеппелине в емр создайте просто таблицу, даже афина не нужна
Ж
Spark.read будет последовательным
Запутался. Тогда как сделать, чтобы не последовательно?
Ж
В зеппелине в емр создайте просто таблицу, даже афина не нужна
Это все в скала аппликации должно бежать