T
Монорепа
+1
Size: a a a
2020 October 13
А
а что сломалось у хайва? чтоб нам тоже не напороться
A
А кто-то имел опыт поддержки своего форка хайва например
Написал в личку
DZ
Anton Kovalenko
Написал в личку
Что ж вы так
DZ
Нас тоже интересно
UD
Сек
UD
diff --git ql/src/java/org/apache/hadoop/hive/ql/exec/tez/TezSessionState.java ql/src/java/org/apache/hadoop/hive/ql/exec/tez/TezSessionState.java
index e8a1757..8870049 100644
--- ql/src/java/org/apache/hadoop/hive/ql/exec/tez/TezSessionState.java
+++ ql/src/java/org/apache/hadoop/hive/ql/exec/tez/TezSessionState.java
@@ -400,10 +400,6 @@ private TezClient startSessionAndContainers(TezClient session, HiveConf conf,
// TezSessionPoolManager sets tez.queue.name if user has specified one or use the one from
// cluster wide queue names.
// There is no way to differentiate how this was set (user vs system).
- // Unset this after opening the session so that reopening of session uses the correct queue
- // names i.e, if client has not died and if the user has explicitly set a queue name
- // then reopened session will use user specified queue name else default cluster queue names.
- conf.unset(TezConfiguration.TEZ_QUEUE_NAME);
return session;
} finally {
if (isOnThread && !isSuccessful) {
UD
В итоге пишется памятка, где такие приколы описаны и доморощенные костыли
UD
в одно лицо запатчить все можно конечно на радость автобусу =)
AA
нет, iceberg/hudi/delta это скорее hive acid done right; orc/parquet это форматы хранения, они продолжают использоваться вместе с iceberg/hudi/delta
жаль, я бы послушал про примеры внедрения айсберга и насколько это улучшило ситуацию
AZ
жаль, я бы послушал про примеры внедрения айсберга и насколько это улучшило ситуацию
следите за этой темой, там много всего происходит
АЖ
iceberg прям пушка по концепции, я все хожу и облизываюсь
MA
жаль, я бы послушал про примеры внедрения айсберга и насколько это улучшило ситуацию
Так он же "Iceberg is under active development at the Apache Software Foundation.".
Правильно я понимаю, что еще рано пользоваться?
Правильно я понимаю, что еще рано пользоваться?
N
Так он же "Iceberg is under active development at the Apache Software Foundation.".
Правильно я понимаю, что еще рано пользоваться?
Правильно я понимаю, что еще рано пользоваться?
Есть дурацкие баги. Ну типа отказывается писать df, пока не отсортируешь его. Это начинает отжирать килотонну ресурсов на сортировку.
N
Во втором спарке запись позиционная-по именам отдуплить не умеет. Пришлось писать обмазывание схемой.
AZ
Так он же "Iceberg is under active development at the Apache Software Foundation.".
Правильно я понимаю, что еще рано пользоваться?
Правильно я понимаю, что еще рано пользоваться?
смотря какие у вас ожидания, и что нужно.. просто чтобы попробовать тащить в продакшен наверное не стоит
N
Недавно он начал считать, что его колонка long, хотя таблица создавалась Types.NestedField.optional(2 , "update_ts" , Types.TimestampType.withZone())
N
В схеме df тоже timestamp
N
скастовал в int-прожевал. почему так-хз.