KS
Просто я не хотел бы завалить production database своими экспериментами.
Size: a a a
2020 December 11
Д
В принципе можно просто разделить время 3.5 часа в процентном соотношении и получить время на большую таблицу. А оптимизацию отслеживать по общему времени.
У тебя могут 2 джоба лить эти 2 таблицы, больше всего по времени, и добавление еще джобов не даст уменьшения времени. Ну и диски переделать конечно, если это не луны внешнего массива.
KS
Понятно, спасибо.
KS
Ещё вопрос по Postgres.
Делаю запрос в parent table типа
Будет ли быстрее если делать запрос в partitions, которых около 50?
Делаю запрос в parent table типа
psql remote_host "copy(select cols from table where created_at ...)"
Будет ли быстрее если делать запрос в partitions, которых около 50?
KS
Это всё часть Data Ingest
2020 December 12
GP
спасибо)
ПФ
Это со смартдаты приехало
PA
Не релевантный чат
A
Посчитать?
DB
Не релевантный чат
Почему? 🙂
PK
you can get participant by id
A
Почему? 🙂
Это не к Паше был ответ) там спам пришел с предложением о займе
DB
Ааа.. 👌
DB
Получилось складно ))
NB
Привет. А существует какой-нибудь лайфхак по забору данных из kerberized HDFS с шифрованием, процессингом на другом кластере Hadoop(через spark) и сложением полученных данных во внешнюю MPP.
Собственно варианты не выпендриваться и процедить на 1 кластере понятны, но проблемы хорошей работы очередей на первом кластере 😄
Вопрос именно технический, а не с точки зрения data privacy )
Собственно варианты не выпендриваться и процедить на 1 кластере понятны, но проблемы хорошей работы очередей на первом кластере 😄
Вопрос именно технический, а не с точки зрения data privacy )
ПФ
Привет. А существует какой-нибудь лайфхак по забору данных из kerberized HDFS с шифрованием, процессингом на другом кластере Hadoop(через spark) и сложением полученных данных во внешнюю MPP.
Собственно варианты не выпендриваться и процедить на 1 кластере понятны, но проблемы хорошей работы очередей на первом кластере 😄
Вопрос именно технический, а не с точки зрения data privacy )
Собственно варианты не выпендриваться и процедить на 1 кластере понятны, но проблемы хорошей работы очередей на первом кластере 😄
Вопрос именно технический, а не с точки зрения data privacy )
Берёшь Big Data Tools, копирушь с одного кластера на другой и процессишь
NB
Берёшь Big Data Tools, копирушь с одного кластера на другой и процессишь
имеется в виду IDEA Plugin?
NB
боюсь на прод стендах не прокатит
ПФ
имеется в виду IDEA Plugin?
Конечно
ПФ
боюсь на прод стендах не прокатит
Почему?