С
У меня задача просто лить в hive,над архивом csv.gz делаешь external table,а потом лью из неё данные в конечную партицилнированную таблицу
Size: a a a
2020 September 07
АЖ
дык у тя цсв
RY
Сюткин
Больших данных... я загружаю каждый день эксельки по 100-120гб
Process finished with exit code 137 (interrupted by signal 9: SIGKILL) у меня к примеру, как я понял, памяти не хватает
С
дык у тя цсв
Ну дык да,конвертеры в csv есть же
АЖ
вообще использование экселей как входа и выхода - это чот безумие
С
100мб это не много
RY
вообще использование экселей как входа и выхода - это чот безумие
если просят на выходе отчет в определенном формате и excel. что тогда делать?
OA
вообще использование экселей как входа и выхода - это чот безумие
Безумие? Это тырпрайз!
OA
OA
Подскажите как работать с excel файлами больших размеров(50-100мб). Пробовал считать по частям с pd.read_excel(skip_rows=, nrows=).1я проблема) Долго загружает данные в ДФ.2я. после модификаций этих данных нужно записать их обратно в данный файл с сохранением изначального форматирования файла. вносил изменения через openpyxl. Но сохранить не получается - размер большой говорит
Кубы.
А
выгрузи в csv, а в эксель подгрузи из datasource
OA
Брат жив, зависимость есть.
А
С
если просят на выходе отчет в определенном формате и excel. что тогда делать?
Если ты джун/мидл то делай
Если ты сеньор/лид то шли в далёкое путешествие
Если ты сеньор/лид то шли в далёкое путешествие
С
SM
Всем привет
ну в общем у меня вот такое
либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
ну в общем у меня вот такое
No Encoder found for java.util.UUID
никто не подскажет как написать custom'ный encoder?либо тупо чтобы implicit'но для UUID использовался Encoders.STRING
RY
как считать csv по частям(там дф) в цикле пройдя все строки? скажем у нас 100к строк будем в цикле считывать сначало 10к, обрабатываем. потом следующие 10к... соль в том что нужно заранее знать кол-о строк. но как ее узнать не считывая весь файл?
SI
как считать csv по частям(там дф) в цикле пройдя все строки? скажем у нас 100к строк будем в цикле считывать сначало 10к, обрабатываем. потом следующие 10к... соль в том что нужно заранее знать кол-о строк. но как ее узнать не считывая весь файл?
wc -lSI
В питоне можно
with open(path) as file:
lines_count = sum(1 for _ in file)
SI
В целом, тебе не надо знать количество строк в файле, так как читающий интерфейс как правило возвращает итерируемый по строкам объект