GP
ты вроде похожий код пишешь
Size: a a a
2021 April 22
AS
да и писать в конец файла это так принять в индустрии (An ORC file contains groups of row data called stripes, along with auxiliary information in a file footer. At the end of the file a postscript holds compression parameters and the size of the compressed footer.)
P
а тут не в S3 вся боль? там ж не POSIX
AE
основная боль в том, что паркетный костыль делает readFully(byte[], ...)
AE
то есть читает файл целиком в память
AE
это к вопросу "на что она так дико и бестолково тратится?"
AE
потом ещё если пожатый, то буфер декодера компресии, буфер под каждую запись и т.д. — легко 5-6 копий одних и тех же данных, просто чтобы их прочитать из паркетины
GP
своя глина лучше (с) (наверное)
P
вопрос про кубер, коллеги.
у кого-то бывает, что куб нахер срёт на
у кого-то бывает, что куб нахер срёт на
activeDeadlineSeconds, выставленный для джобов?AE
пиздёж и провокация. на первый раз прощу.
GP
ну ты тут очень много ж глины вкидывал продавая это как то что ты был вынужден и тд и тп
так вот и эти бибилиотеки такие по схожим с твоими причинам
так вот и эти бибилиотеки такие по схожим с твоими причинам
K
тут прям F[_] просится, чтобы абстракции были
GP
не хватает эфектфул апи да
AE
не у всех кластера на 700 нод по 20 тб оперативы
OI
ага
в приличных конторах ща 1000+
в приличных конторах ща 1000+
AE
если приходится считать каждый сраный бакс, то заливать кривизну софта железом тупо не на что
EK
о, тем же самым занимаюсь.
С той разницей, что нам на самом деле паркет вообще не нужен.
Но вместо того, чтобы выпилить паркет, человек написал имплементацию InputFile, которая по 20 раз загружает файл с s3
С той разницей, что нам на самом деле паркет вообще не нужен.
Но вместо того, чтобы выпилить паркет, человек написал имплементацию InputFile, которая по 20 раз загружает файл с s3
AE
во-первых, 1 раз. во-вторых, паркет мне приходит снаружи. я ж не могу выпилить поставщика данных, и заставить слать его в цсв тоже не могу.