M
Доброго времени суток, извините за оффтоп.
Есть ли какой-то чат по мейнстрим экономике?
Не по АЭШ, не по инфоцыганщине, а по экономике.
Есть ли какой-то чат по мейнстрим экономике?
Не по АЭШ, не по инфоцыганщине, а по экономике.
Size: a a a
2020 January 09
D🐈
Λ
спасибо 🙂 я не в тот чат написала
Λ
а тут запинено
АШ
Всем привет. А кто-нибудь работал в pandas с dataframe размера 100к строк на 30к столбцов? основная масса данных - bool, пару столбцов только string
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
Λ
Всем привет. А кто-нибудь работал в pandas с dataframe размера 100к строк на 30к столбцов? основная масса данных - bool, пару столбцов только string
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
- работай со sparse матрицами
- уменьшай для визуализации датасет
- уменьшай для визуализации датасет
SZ
у меня в своп грузилось 60 гб, было более-менее норм xD, но я по факту с этим зоопарком не очень много копался
АШ
1. попробую, спасибо
2. так мне для обработки надо, визуализировать такое смысла нет )
2. так мне для обработки надо, визуализировать такое смысла нет )
АШ
у меня в своп грузилось 60 гб, было более-менее норм xD, но я по факту с этим зоопарком не очень много копался
у меня сейчас на сервере своп на 64 гб, плюс физически выделено 14 гб, забито почти до завязку)
SZ
кстати, а данные первоначальные сжатые или просто csv какой-нибудь, например?
АШ
csv, он самый
SZ
в пандасе есть нативная поддержка загрузки данных из csv.gz, я на этом нормально так места экономил
SZ
вот, можно в gz сжать, может в какой-то мере спасти :)
АШ
так сам файл в csv - всего 180 мб )
SZ
а, понял( это не мой случай тогда, у меня сам датасет был под 20 гб
Λ
а, понял( это не мой случай тогда, у меня сам датасет был под 20 гб
некоторые алгоритмы умеют работать со спарс-матрицами
Λ
могу порекомендовать
спарс -> PCA/NMF/любое другое уменьшение размерности -> человеческие алгоритмы
спарс -> PCA/NMF/любое другое уменьшение размерности -> человеческие алгоритмы
KV
Всем привет. А кто-нибудь работал в pandas с dataframe размера 100к строк на 30к столбцов? основная масса данных - bool, пару столбцов только string
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
Проблема в том, что даже для нулевого фрейма такого размера нужно 22 гб оперативки :)
Кто-нибудь решал такую проблему?
почему 22 гб оперативки для пустого?
в районе 3х же, не?
в районе 3х же, не?