UD
Как это например делают в warc-е
Size: a a a
2021 March 22
ПБ
Gzip unsplittable
а если сначала расзиповать? места нет?
P
а если сначала расзиповать? места нет?
10 тб с легкостью превращаются в полпетабайта
AZ
Also known as “gzip bomb”
UD
Если там не гзип бомба, можно сделать первичную конвертацию на любой ноде при желании
P
Если там не гзип бомба, можно сделать первичную конвертацию на любой ноде при желании
Одна ж нода ангзип делает всегда. В этом печаль была
UD
Одна ж нода ангзип делает всегда. В этом печаль была
я про банальный zcat/pigz через pipe во что нужно
P
я про банальный zcat/pigz через pipe во что нужно
Я посоветовал хотя бы gz2 жать 🙂
UD
Я посоветовал хотя бы gz2 жать 🙂
Зачем если есть зстандарт
E
интересно, а есть, кто использует zfs под hdfs? :)
UD
Нечто похожее продает хуавей, но там свои велосипеды и поставщики
UD
oceanstor 100d одно из имен этого поделия
E
интересненько.. так-то мы тоже используем, но тут скорее "исторически сложилось"
P
Сколько нод Hadoop (включая NN) используется у вас в компании?
Анонимный опрос
Проголосовало: 76Где вариант 0?
ИК
Vitaly Pismarev
помоему, такая порнуха только в oracle
Начиная с 12 версии есть fetch: эквивалент limit в оракле, ещё и расширенный. А раньше через rownum, если нужно окно - через "стабилизированный" в подзапросе rownum. Ну, или row_number/rank/dense_rank
ИК
Вот после ТД в других СУБД мне именно квалифая недоставало особенно сильно, по крайней мере первое время
Если движок открыт-можно сделать себе qualify, в спарк точно можно, но вариант, который я делал, не очень корректно работал, если была вложенная агрегация, требовал фильтр в виде having true
ИК
Если без sql, то qualify довольно легко реализовать, расширив Dataset API:
ds.withColumn("name", ... over Window...).where(...).drop("name")
ds.withColumn("name", ... over Window...).where(...).drop("name")
T
Я тут чуток слоупок и пропустил тёрки прособесы, приходите в среду в наш клабхаус обсудим там
AZ
Если движок открыт-можно сделать себе qualify, в спарк точно можно, но вариант, который я делал, не очень корректно работал, если была вложенная агрегация, требовал фильтр в виде having true
чтобы сделали нужна мотивация, пока в стандарте нет - мотивация маленькая, только чтобы поймать клиентов терадаты? ну вот сноуфлейк и добавил.. а для инхауса это не так важно, свои разработчики будут писать подзапросы
2021 March 23
KS
Как можно равномерно сбалансировать входящие данные, которые наверняка не поместятся в спарковский кластер (AWS Glue)? Ещё есть ограничение по времени, не дольше часа, поскольку поступит новая партия данных.