G
Со стейджингом, кстати, норм идея, мы сейчас так данные апсёртим из промежуточной
Ну я давно так делаю. Там есть нюансы но в целом рабочий вариант
Size: a a a
2020 November 08
G
А обратно надо забирать? Или цель просто выкинуть паркет куда-то?
Ну в общем да. Но забирается уже из других таблиц. Я специально разнес
S
Самое простое - переложить в цсв и через батчевую загрузку в пг залить
S
Оно и самое быстрое
S
Плюс атомарность
S
Если там апдейтов нет и надо только инсерт
G
Самое простое - переложить в цсв и через батчевую загрузку в пг залить
Не. Файлы нини. Нельзя. Безопастность такое решение не пропустит. И правильно. Так как тут тоже никаких гарантий что файл сформируется норм а потом ты добавляешь кучу доп шагов, каждый из которых может быть точкой отказа
S
Бигдата такая бигдата :)
G
Сформировать файл. Положить туда где есть место, переложить туда где есть место, проверить что читается, прочитать правильно и потом залить. Это пипец.
S
Ну да, аж целый мд5 вызвать)
S
Зато загрузка средствами пг исключает всю хрень, что может сделать спарк без нормального синка
G
Ну да, аж целый мд5 вызвать)
Так это надо вызвать. А что делать если не прочтется?
ME
Не. Файлы нини. Нельзя. Безопастность такое решение не пропустит. И правильно. Так как тут тоже никаких гарантий что файл сформируется норм а потом ты добавляешь кучу доп шагов, каждый из которых может быть точкой отказа
Эх, как хорошо, что мы даже об этом не задумываемся 😅
S
На стороне спарка реализовать проверки на чтение. Что и разгрузит пг с продом
G
Да решить проблему можно. Вопрос - стоит ли оно того. Со стеджингом в постгре как то проще.
G
Да пускать пользователя к большим данным - это бяда. По хорошему пользователь должен работать в других изолированных системах с меньшим объёмом и большей доступностью а данные должны приходить в бигдата уже готовыми.
G
Нов компании бяда с глобальной архитектурой. Вот и приходиться кастылить
G
Вот кстати еще вопрос. А кто как хранит и менеджит метаданные? Apache atlas, cloudera navigator?
S
Гит+самопис
Кроме хадупа есть ещё системы вокруг
Кроме хадупа есть ещё системы вокруг
ME
Вот кстати еще вопрос. А кто как хранит и менеджит метаданные? Apache atlas, cloudera navigator?
aws Glue catalog