S
кластер на пару сотен машин с клоудерой 5.8 всплакнул в уголку
Можете себе позволить, когда способны влить ванилу хайва :) а есть те, кто не могут рейнжер из рпм вкатить :)
ванила в соседнем кластере
там хадуп 3.2.0
сейчас обсуждается обновление
Size: a a a
2020 July 22
A
АК
Я хотел ванильный хадуп поставить...)) Но хоть у меня и дома линух и на работе и у жены))
Могу рпмы вкатить))
Но я посмотрел на все это дело, поизучал, взгрустнул... и пошел ставить клаудеру )))
Могу рпмы вкатить))
Но я посмотрел на все это дело, поизучал, взгрустнул... и пошел ставить клаудеру )))
S
Э... ну да, ну как большой, просто хочу из рабочей бд в оракле забирать инфу в архив, в оракле дорого и не надо всеиэто держать.
А кликхаус нам не читали на курсах по DE )))
Взял пока, что читали и с чем был знаком, клаудеру, хадуп...)
А кликхаус нам не читали на курсах по DE )))
Взял пока, что читали и с чем был знаком, клаудеру, хадуп...)
Зачем устаревший стек. Го+кликхауз :)
А
Что все про хайв, скажите что-нить хорошее про импалу. Про нее чет вообще ничего не слышно
АК
Что все про хайв, скажите что-нить хорошее про импалу. Про нее чет вообще ничего не слышно
Импала мне понравилась с паркетами) Но там нет xpath...)
M
Есть ли какой-то способ в афине получить количество партиций а не их список?
M
или напрямую из glue
M
хоть как-нибудь
A
Что все про хайв, скажите что-нить хорошее про импалу. Про нее чет вообще ничего не слышно
ну тут был наброс что импала потиху загибается
старые баги фиксятся, но развития нету
в принципе своё дело делает, но написана на плюсах, а следовательно накладывает ограничения:
поддержку orc подвезли в минимальном виде
iceberg и hudi в минимальном виде тоже только-только
то есть до тех пор пока вы укладываетесь в то что сделано, то ок
но многие вещи и форматы сейчас пишутся под спарк/престо на java/scala и тут импала сразу в пролёт уходит
старые баги фиксятся, но развития нету
в принципе своё дело делает, но написана на плюсах, а следовательно накладывает ограничения:
поддержку orc подвезли в минимальном виде
iceberg и hudi в минимальном виде тоже только-только
то есть до тех пор пока вы укладываетесь в то что сделано, то ок
но многие вещи и форматы сейчас пишутся под спарк/престо на java/scala и тут импала сразу в пролёт уходит
M
Я хз но у меня ощущение что престо сильно медленнее импалы
A
зато интеграций в разы больше
в общем в лоб я бы их не сравнивал
в общем в лоб я бы их не сравнивал
A
о, главный геморой с импалой:
раньше она или в клоудере была доступна или можно было просто взять пакеты и развернуть на свой дистр
сейчас бинарники только для подписчиков
а собирать самому импалу это пляска ещё та
раньше она или в клоудере была доступна или можно было просто взять пакеты и развернуть на свой дистр
сейчас бинарники только для подписчиков
а собирать самому импалу это пляска ещё та
A
ты нормальный аутлайн возьми, а не прямоугольник. несколько интереснее будет
Вот эксперимент с использованием геометрии Техаса - расчет с использованием convex hull и отдельно по каждому county. Не вижу большой проблемы с рантаймом, ~12 минут на штат если convex hull создает большую погрешность
Код: https://gist.github.com/REASY/9cc3d0333675bc57e60bb9d2452e0ef3
Shape взят отсюда: https://catalog.data.gov/dataset/tiger-line-shapefile-2017-nation-u-s-current-county-and-equivalent-national-shapefile
Код: https://gist.github.com/REASY/9cc3d0333675bc57e60bb9d2452e0ef3
Shape взят отсюда: https://catalog.data.gov/dataset/tiger-line-shapefile-2017-nation-u-s-current-county-and-equivalent-national-shapefile
A
АК
Зачем устаревший стек. Го+кликхауз :)
Давно уже на него смотрю... но пока только смотрю)
Но у меня есть еще один кейс, там нужно не лопатить изредка, а часто и быстро точечно получать конкретный блоб-объект по его id.
Возможно, кликхаус для этого будет норм...
Но у меня есть еще один кейс, там нужно не лопатить изредка, а часто и быстро точечно получать конкретный блоб-объект по его id.
Возможно, кликхаус для этого будет норм...
MB
Внимание знатоки!
Таблица в KUDU 150 колонок, 90% из которых - String,
Это вообще нормально?! 0_0
Таблица в KUDU 150 колонок, 90% из которых - String,
Это вообще нормально?! 0_0
A
вы бы хоть спрашивали что именно не так?
150 это много или мало?
150 это много или мало?
UD
Внимание знатоки!
Таблица в KUDU 150 колонок, 90% из которых - String,
Это вообще нормально?! 0_0
Таблица в KUDU 150 колонок, 90% из которых - String,
Это вообще нормально?! 0_0
А в стрингах инты?
UD
