AZ
если нужны быстрые лукапы то лучше греть данные уже в СУБД
Size: a a a
2021 March 23
KS
OMG, это очень неудачное решение, совершенно точно не стоит по такому большому количеству значений партицировать, у вас и partition lookup потом тормозить будет, сжатие пострадает..
Да, я это понимаю, но такова бизнес логика, нужно строить промежуточные структуры типа
Для небольших сетов работает нормально, однако для клиентов с миллионами девайсов подобное решение не срабатывает.
Root
-- level1
---- device_id_1
------controller
--------filename.json
...
Для небольших сетов работает нормально, однако для клиентов с миллионами девайсов подобное решение не срабатывает.
AZ
Да, я это понимаю, но такова бизнес логика, нужно строить промежуточные структуры типа
Для небольших сетов работает нормально, однако для клиентов с миллионами девайсов подобное решение не срабатывает.
Root
-- level1
---- device_id_1
------controller
--------filename.json
...
Для небольших сетов работает нормально, однако для клиентов с миллионами девайсов подобное решение не срабатывает.
я бы хранил все в нормальных больших файлах, и видимо подходящий адресат новой фичи "лямбда на объектах"
AZ
(преобразовывать на лету при чтении, https://aws.amazon.com/s3/features/object-lambda/)
KS
я бы хранил все в нормальных больших файлах, и видимо подходящий адресат новой фичи "лямбда на объектах"
Я видел это только на днях выпустили, посмотрю, подойдет ли нам.
KS
Ещё вопрос, как лучше трейсить в спарке(AWS Glue)? Я немного поковырял X-ray, но там нужно устанавливать какой-то сервис, который будет собирать данные и отправлять в x-ray. Непонятно, где он будет крутиться, на драйвере, что ли?
AG
Ещё вопрос, как лучше трейсить в спарке(AWS Glue)? Я немного поковырял X-ray, но там нужно устанавливать какой-то сервис, который будет собирать данные и отправлять в x-ray. Непонятно, где он будет крутиться, на драйвере, что ли?
Какого рода трейс нужен?
KS
Какого рода трейс нужен?
Хочу узнать время выполнения функций в спарк джобах, в зависимости от увеличения data skew, чтобы понять при каком значении начинает тормозить.
C
AZ
Ещё вопрос, как лучше трейсить в спарке(AWS Glue)? Я немного поковырял X-ray, но там нужно устанавливать какой-то сервис, который будет собирать данные и отправлять в x-ray. Непонятно, где он будет крутиться, на драйвере, что ли?
CV
Hai guys, I have a question. Can anyone please answer this.
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
2021 March 24
T
Chandan Volkaji
Hai guys, I have a question. Can anyone please answer this.
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
What do you mean by"upload into SQL"?
ИК
Chandan Volkaji
Hai guys, I have a question. Can anyone please answer this.
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
I guess, you want to insert it into some table. Well, if you are using DB supporting column families, you can add a column to a family and update it (or the whole family) with new values. If you are using some RDBMS, just use pivot/unpivot, it’s the only rational solution, so you’ll not mess with ddl and dynamic sql every month
N
Chandan Volkaji
Hai guys, I have a question. Can anyone please answer this.
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
I have an excel file where the columns are dynamic..
Each month they are adding a column.
What would be the best way to upload into sql
U mean how to parse it? Or how to transform parsed data?
SO
Ребят, а расскажите про ограничения в Tableu про объемы данных?
Представим себе, есть Greenplum, в нем много-много строк (пара миллиардов, например, на 3-5 колонок)
Как себя tableu чувствует с большими данными?
Очень размыто, конечно, спросил, но оч надеюсь, что понятно)))
Представим себе, есть Greenplum, в нем много-много строк (пара миллиардов, например, на 3-5 колонок)
Как себя tableu чувствует с большими данными?
Очень размыто, конечно, спросил, но оч надеюсь, что понятно)))
VS
Также, как постгрес с редисом в кеше
NN
Ребят, а расскажите про ограничения в Tableu про объемы данных?
Представим себе, есть Greenplum, в нем много-много строк (пара миллиардов, например, на 3-5 колонок)
Как себя tableu чувствует с большими данными?
Очень размыто, конечно, спросил, но оч надеюсь, что понятно)))
Представим себе, есть Greenplum, в нем много-много строк (пара миллиардов, например, на 3-5 колонок)
Как себя tableu чувствует с большими данными?
Очень размыто, конечно, спросил, но оч надеюсь, что понятно)))
А кластер большой?)
NN
Также, как постгрес с редисом в кеше
А это как?