скиньте пж если знаете

я не нашел

В личку скинул, думаю, и одного должно хватить. И закинул линк на гитхаб, где ещё несколько чатов

@dartov а jupyterhub через PAM работает по дефолту или надо что-то поднастраивать?

нет, это authenticator по умолчанию

У меня просто фейл. И пользователя я добавил в группу jupyterhub, а сам юпитерхаб запускаю от него же

Народ. Вот сам уже устал от выбора но вроде как серебряной пули нет.
Есть данные в паркете. И надо часть данных отдать пользователям на редактирование в веб интерфейсе. Сейчас скидываю часть данных в постгре одним бачем одним потоком. Но это к сожалению не дает гарантии доставки. Думал взять hbase. Для этого. Понял что индексировать и сортировать там не выйдет. Про кссандру даже не думаю, девопс от хбейза подохренел а от поддержки кассандры откажется наотрез. Остается вариант скидывать в темповую табличку в постгре и потом запускать процедуру для заливки из темпа в основную таблицу. Это рабочий вариант и я так уже делал. Но вот хочу спросить, может у кого есть более заковыристое решение, где доставка была бы если не гарантированной то хотя бы повторяемой для достижения валидности данных в мастер системе.

Надо учитывать что есть такие вопросы как количество доступных соединений к постгре, чтобы задавать это спарку. Запуск процедуры постгресовой извне. Отслеживание выполнения всего этого в единой «транзакции»

А просто спарком прочитать и записать в бд не выйдет?

Что значит просто?

А какой размер данных то?

Считать и записать через jdbc в постгрю

Просто через jdbc напрямую в постгре - если не дышать над потоком и он один - да. Сейчас так и реализовано

Вроде не должно что-то теряться

Все просто. Если вотвремя записи сетка моргнет - то получим кусок в постгре

Разный. Зависит от даты. Но в целом не большой. До гига я думаю в день. Тут важно что доставка должна быть гарантирована

Ох, к счастью, с нестабильной сетью пока не сталкивался

Ну вот не дай бог. На проде у нас доступа нет и если там примари кей поплывет - наступит коллапс

А обратно надо забирать? Или цель просто выкинуть паркет куда-то?

Со стейджингом, кстати, норм идея, мы сейчас так данные апсёртим из промежуточной