ЕГ
Size: a a a
2021 October 18
ЕГ
Чистили базу ырфлоу?
h
Ок, я не против
А материал годный не скинете по спарку?
В любом виде
А материал годный не скинете по спарку?
В любом виде
ЕГ
Блин а ты чё на спарке не прогаешь?
ЕГ
Для чего тебе питон вообще
ЕГ
https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html
Вот начни отсюда, там слева есть всё, что надо
Вот начни отсюда, там слева есть всё, что надо
GP
Одерски хорошие курсы
h
Ну для автоматизации разных вещей на работе)
A
👆 отличные варианты.
РП
Господа DE, возможно задам глупый вопрос)
А на уровне HDFS, перекладывая файлики. Можно реализовать забор данных из одной таблицы по партиции (пусть будет партиция = месяц), и положить в другую таблицу с другой партицей (допустим - день)
А на уровне HDFS, перекладывая файлики. Можно реализовать забор данных из одной таблицы по партиции (пусть будет партиция = месяц), и положить в другую таблицу с другой партицей (допустим - день)
РП
Т.е. забрать данные то понятно что можно, это скопировать файл. А вот положить в другое партиционирование... ?
ЕГ
Нет, у тебя же колонка с днём внутри паркета например лежит, её оттуда надо считать из каждой записи, перепаковать паркеты и выкинуть
РП
Ну да. Я так себе и представлял это.
РП
Получается самый простой способ, это просто считать данные. И сделать insert в другую таблицу по нужной партиции.
ЕГ
Кто-то пришёл и сказал тебе "да там изич переложить"?)
РП
Да, типа того)) И еще типа "да там же файлики надо переписать только")
ЕГ
Вот из дней сделать месяцы - реально
ЕГ
На чистом хдфс
ЕГ
Так как мы не добавляем информацию, а наоборот теряем
ЕГ
Вернее можно даже и не терять