AZ
Это не новье или старьё, это альтернативный таймлайн
Size: a a a
2021 January 25
r
гайз, привет
r
есть датасет в котором сотни тысяч физических s3 компатибл партиций, раньше писали спарком в с3 с использованием <>.save и прогоняли Glue crawlers на этих данных что бы добавить их в метастор хайва(Глу метастор в AWS) и таблицы.
r
Сейчас появилась идея писать напрямую в хайв таблицы используя saveAsTable или insertInto
r
но Глу метастор создал таблицы типа хайв и писать спарком можно только .format("hive")
r
в таком случае не используеться оптимайзер EMR для записи паркетов, и данные сначала пишуться в .hive_stagging_file_datexxx директории и потом переименовуються
r
с учетом сотен тысяч физических партиций и тормознутой с3( по отношении к хдфс) перформанц проседает в 20 раз
r
есть какой-то способ с этим бороться
r
?
RK
Всем привет! Кто-нибудь знает, есть ли способы из пайплайна Flink-a отправлять сообщения в разные очереди RMQ (RMQSink)? По всей видимости, нет. Но хочу убедиться. Может быть, кто-нибудь сталкивался.
e
Что то не заметил community edition. Не так смотрел ?
UD
Что то не заметил community edition. Не так смотрел ?
Они передизайнили сайт, установщик тут есть https://hopsworks.readthedocs.io/en/stable/getting_started/installation_guide/platforms/hopsworks-installer.html#hopsworks-installer
А
Всем привет. Есть небольшой вопрос - спарк скл при произведении операции round() совершает ее по умолчанию в режиме оуругления half_up, т.е. результат 1.5 кастует как 2, например. В то же время при выполнении аналогичного запроса для хайва в hue операция производится в режиме half_down, т.е. 1.5 кастуется до 1. Отсюда несоответствие. Собственно вопрос - есть ли какие-то опции для хайва, чтобы изменить режим округления в рантайме? Или еще как-то это обойти?
S
Всем привет. Есть небольшой вопрос - спарк скл при произведении операции round() совершает ее по умолчанию в режиме оуругления half_up, т.е. результат 1.5 кастует как 2, например. В то же время при выполнении аналогичного запроса для хайва в hue операция производится в режиме half_down, т.е. 1.5 кастуется до 1. Отсюда несоответствие. Собственно вопрос - есть ли какие-то опции для хайва, чтобы изменить режим округления в рантайме? Или еще как-то это обойти?
+1 и trunc
S
Стоп, ошибся, +0.5
А
+1 и trunc
а если там точность до трех знаков после запятой, и проблема именно в последнем знаке?)
S
а если там точность до трех знаков после запятой, и проблема именно в последнем знаке?)
Попробуй привести к double
dk
Коллеги, подскажите, пож, интегрируется ли с чем-то англоязычным "китайский гугл аналитикс" baidu tongji
А
Попробуй привести к double
В принципе, в обычной ситуации, наверное, помогло бы) Но тут такая штука: подобный запрос - SELECT ROUND(23.525 * 2.54, 3) возвращает 59.753
А
хотя 23.525 * 2.54 = 59.7535