Size: a a a

2021 October 06

D

Dmitry in Data Engineers
подскажите про hdfs и оставшееся место. я в курсе, что hdfs блок хоть занимает 128 мб, но на линуксовой файловой системе файлик в пару кб займет пару кб, а не 128 мб. а что мне hdfs dfs -df -h показывает ? это именно занятое место в линуксе, верно же ? если я серьезно укрупню файлики, места ведь не прибавится ? я верно рассуждаю ?
источник

Н

Николай Дубовик... in Data Engineers
на мой взгляд, верно
источник

AZ

Anton Zadorozhniy in Data Engineers
Вы можете получить выигрыш за счёт сжатия, колоночные форматы дают лучше сжатие на большем объёме
источник

D

Denis in Data Engineers
Подскажите насчет Spark Streaming, я правильно понял что нет официального коннектора к RabbitMQ или я просто не смог найти?
источник

I

Igar in Data Engineers
спасибо за результаты, но pie chart - зло. Ничего непонятно, лучше переделать на bar chart
Ну и в приличном обществе за pie chart закидывают ссаными тряпками
источник

ЕГ

Евгений Глотов... in Data Engineers
Места не прибавится
источник

ЕГ

Евгений Глотов... in Data Engineers
Если файлов слишком много - забьётся неймнода, и всё
источник

SO

Simon Osipov in Data Engineers
Ну я просто использовал стандартные тулзы - Google Forms
источник

СС

Святослав Семеркин... in Data Engineers
привет! подскажите плиз, почему принято UUID в оракле хранить в RAW(16)?
источник

D

Dmitry in Data Engineers
ок, спасибо. что-то вокруг меня какая-то устойчивая легенда, что файл минимум блок занимает и на линуксовой файловой системе, а укрупнение место освободит
источник

GP

Grigory Pomadchin in Data Engineers
😄
источник

GP

Grigory Pomadchin in Data Engineers
эх вот бы так было какая б хдфс была б жоская для использования
источник

AE

Alexey Evdokimov in Data Engineers
угу. потому что сначала алгоритмы, потом языки, а потом под них уже инфра
источник

AE

Alexey Evdokimov in Data Engineers
а в обратном порядке всегда получается неэффективная хуета. чё, кто-то считает иначе?
источник

ЕГ

Евгений Глотов... in Data Engineers
Сначала бизнес
источник

ЕГ

Евгений Глотов... in Data Engineers
Нахрен нужны алгоритмы, если делать нечего
источник

ЕГ

Евгений Глотов... in Data Engineers
А 145.9% задач решается простым человеческим sql)
источник

OI

Oleg Ilinsky in Data Engineers
так бизнес вокруг алгоритмов строится
источник

OI

Oleg Ilinsky in Data Engineers
источник

ЕГ

Евгений Глотов... in Data Engineers
Знаю один такой бизнес, на букву Я)
источник