OI
Size: a a a
2021 April 09
Y
Это кто?)
Y
Спасибо
OI
это группа про работу) вопрос больше подходит под тему того канала)
N
Причем здесь трифт? Трифт-сервер это рядом стоящий и довольно валкий демон, который способен запустить спарк джобу без явного сабмита, по jdbc. Но все данные-то он в памяти не держит и пойдет их читать откуда-то из hdfs/s3/csv чтобы вернуть результат.
Что вообще значит фраза «данные лежали в спарке»?
Что вообще значит фраза «данные лежали в спарке»?
AZ
тссс, было интересно куда это заведет участников дискуссии
N
я просто тоже хочу данные в спарке хранить, достал hdfs.
AZ
храните в памяти, это точно лучше, тут говорят
SK
коллеги,а с таким никто не сталкивался?
UR
Я не знаю куда он пойдет читать, если у меня уже есть сформированный фрейм, обьявленный как временная таблица
UR
да не будет никакой дискуссии. У меня это работало и работало хорошо. До тех пор, пока, как справедливо написали, глючний фрифи с очередным релизом перестал работать как надо
UR
мдас... ну вы понели
AZ
вы хранили данные в датафреймах в спарк контексте который запущен через Thrift Server, правильно я понял?
ЕГ
Партишен бай айди - это очень фиговая тема
ЕГ
А вот бакетирование норм работает
OI
там был id проекта, а не юзера)
А
посмотрел в своем метасторе, есть таблица, которая хранит названия колонок для бакетирования, самих значений как с партициями там нет. Вероятно хэш бакета определятся на лету при обращении по колонке с бакетом
UR
там даже еще жестче было, у меня это было одним скомпиленным джарником со вкомпиленным всем, но неважно, суть да, такая
ЕГ
Смотря сколько проектов😆
AZ
и сколько concurrent users на эти данные ходили?