Привет, кто уже работал с файлами форматом GRIB?
Есть такая замечательная библиотека Pygrib.
Так вот к чему есть задача прочитать файл такого формата, найти определенную долготу и широту.
Применить метод to_dataframe() - Перевести в pandas.DataFrame и вызвать метод to_csv()/ to_hdf().
В чем проблема данной задачи, то что когда я читаю такой файл у меня все хорошо, нахождение определенной долготы и широты легко решается с помощью метода sel() - метод из xarray.datasets. При применении метода to_dataframe - получаю так называемую memoryDEAD. Как бы это смешно не звучало, я просто уничтожаю свой ноутбук, так как у меня требование оперативной памяти начинает увеличиваться в прогрессии с 1 до 10 гб за несколько секунд. Но также бывают проблемы что не может записать в dataframe так как повреждены индексы, знаете что с этим можно сделать?
Если вы работали с такими данными, можете подсказать, как сделать пред обработку таких данных чанками, просто не реально при каждом запросе перезапускать jupyter чтобы сбросить кеш, также хотел бы узнать, как вы решали проблему с тем что не записываются эти данные в pandas format, а именно в DataFrame?