Igor Afa
Всем доброе утро) подскажите пож-та: есть большой csv файл 2 гб (более 5.5 млн строк). Его нужно прочитать и обработать (чистка нулов и дубликатов) на python. Использую jupiter и pandas через read csv. Очень сильно долго грузит и выполняет какие-либо операции. Подскажите можно ли как то ускорить процесс?) Другие методы и библиотеки использовать? Возможно кто-то поделится частью кода для чтения и первичной обработки таких больших файлов?) Заранее спасибо
Сколько у вас оперативки на ноутбуке? Если мало, то промежуточные вычисления могут сохранятся на жесткий диск, что медленно. Попробуйте dask