MB
У меня репликация Hive дичайше тупит когда делаю копию 5БД, находит в них 65тыс таблиц
Size: a a a
2020 October 17
MB
по моему это ненормально
MB
несколько тасков сорвалось вообще на этапе export hive metadata
AZ
У меня репликация Hive дичайше тупит когда делаю копию 5БД, находит в них 65тыс таблиц
Так hive это big data, а вам нужно many data
AZ
Извините
s
Так hive это big data, а вам нужно many data
🤣🤣🤣
MB
шта?
MB
...нашёл проблему, кажется
MB
какойто деятель создал таблицу с \r в имени на конце
神
Всем привет. Есть у кого-нибудь ссылка на полный список зависимостей для запуска Distcp из java приложения?
神
А то уже подзадолбался искать... Остановился на NoClassDefFoundError org.apache.hadoop.metrics.Updater
神
Но этого, видимо недостаточно
2020 October 18
ME
Oleksandr Averchenko
Сначала подумал, что реклама майнинга или битков опять)
2020 October 19
MB
Коллеги, так что скажете про большое количество таблиц в Hive ? Большое для меня - это 65К+ на 5 БД и 2млн+ на все БД
MB
Есть какието ограничение по количество сущностей в hive metastore? где почитать?
А
Ограничения мне не известны, но предполагаю, что придется тюнить запросы уже в самой бд метастора
A
@Michaelikus официально нету, на практике некоторые запросы могут подтормаживать
схема у хайва в базе данных печальна и во многих местах где нужны индексы их нельзя построить =(
поэтому при большом количестве партиций может быть не очень хорошо
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
там есть слайды с замерами
схема у хайва в базе данных печальна и во многих местах где нужны индексы их нельзя построить =(
поэтому при большом количестве партиций может быть не очень хорошо
https://www.slideshare.net/Hadoop_Summit/oraclestore-a-highly-performant-rawstore-implementation-for-hive-metastore
там есть слайды с замерами
A
Ограничения мне не известны, но предполагаю, что придется тюнить запросы уже в самой бд метастора
сложно их тюнить так как часть из древнего орм, а вторая часть чуть ли не через конкатенацию строк генерится по ast дереву запроса (directsql который)