OI
там было достаточно много))
Size: a a a
2021 April 09
ЕГ
Ну вот, и дат наверно не три)
OI
10 лет
100+ проектов
100+ проектов
OI
я воспринимаю этот кейс как нагрузочное тестирование
ЕГ
Хдфс: моя остановочка)
OI
кстати, с хдфс всё было хорошо
и неймнода вся была норм
только хайв метастор не вывез
и неймнода вся была норм
только хайв метастор не вывез
OI
самое смешное, что drop table тоже клал метастор
А
нужно было кластер под метастор
AZ
это нормально, hive для big data, а у вас many data
UR
Немного, там BIка сверху была, со своим кешированием, преферансом и куртизанками. Фактически витринка. Так что т.к. проблем с производительностью не было, я даже на консоль не лазил смотреть чем она занимается, просто работала и все.
ME
а на чём он был? Не дерби же?)
OI
ну в постгре по классике
AZ
Если BI все кэширует то можно в чем угодно делать.. я думал вы с какой-то регулярностью обновляете эти временные таблицы, и ходят к ним напрямую мимо кэшей
UR
Она и обновлялась, собственно для этого и была сделана. BIка кеширует только то, что уже спрашивали, а спрашивают разное, поэтому я и говорю, что пользователей таки было, но не, там, сотни тысяч
2021 April 11
K
.cache()
2021 April 12
AZ
ну да, про это и был попкорн, как сделать кэш в котором хранились бы все нужные данные для ad-hoc запросов пользователей
ПБ
Зачем кеш, если все запросы в спарке делаются за минуту? А если дольше то у вас мало ресурсов
AZ
Это вопрос тому кто спрашивал про ignite видимо?
N
смешно, спасибо.
NN